Meeting Summary

1. 如何去validate一个pretrain模型的好坏
   1. 正常的finetuning，全打开（这部分好是最终目的）
   2. 把pre-retraining过的部分freeze住，再进行linear probe
   3. 在多个数据集上作验证
2. 明确setting，目前可以用的大致有
   1. starting point
      1. 从random initialization开始做
         1. 在image net上做，跟MoCo等setting相同，要成为sota，最难弄
         2. 在segmentation数据集上做（比如VOC和Cityscape），力争小数据集达到同样效果
      2. load一个之前有过的初始化
         1. 就在seg数据集上做（比如VOC和Cityscape），小数据量训练后，seg性能提升明显
   2. label
      1. 全label
      2. 少label（大概10%～50%）
      3. few-show（大概1%，每个类选几张图片）
   3. downstream task
      1. segmentation
      2. (key point) detection
      3. dense prediction

         To-do’s

• Superpixel
• 换数据集验证plmoco