实验一:优化置错的标签(finetuned_models6)
结论:本身在置错错误样本的时候一下子置错太多就会对正确样本产生较大的影影响,所以置错的时候有那么一些样本没有被置错成功按道理来说应该会让我们ratrain之后的模型的效果在测试集上更好。
实验二:svhn+resnet18(训练集和测试集的acc都和cifar10+resnet20类似)
svhn+resnet18对训练集的错误样本的标签置错之后相关的性质能迁移到测试集上。
cifar10+resnet20在测试集上的表现更倾向于仅仅是模型性能的下降,两种重要的性质并没有迁移过来:
- 正确样本不应该杀死retrain之后的模型
- 错误样本应该尽可能多地杀死retrain之后的模型
实验三:retrain过程中冻结某些层