1. finetune的模型普遍要比mutate的模型效果更好,但在cifar10上正确样本受影响较大
    2. mutate方法的劣势:需要生成大量的变异模型且未找到可解释的选择方法
    3. 按照finetune的思路,错误样本应该杀死更多的变异模型,但是并非相关性(killrate和样本正确与否)越高,最后的效果越好。没有找到一个合适的metric衡量特征选择的结果。
    4. 就KMeans而言,现有的聚类效果评价指标并不能找到最佳的聚类类别数,其实也不是k较小的时候效果比较好,但是比较稳定。但是我们聚类的目标和pace有所区别,pace根据行为进行聚类,而现在我们的聚类的目标已经变成了想把错误用例和测试用例分开,所以k取较小数值的时候方法可解释。