实验一：如何有选择地保留retrain之后的模型？
    retrain涉及的参数

    1. loss函数：categorical_crossentropy
    2. optimizer：vgg16使用的SGD（lr为1e-4，momentum为0.9），其余模型为adadelta
    3. epoch（epoch总数？每隔多少个epoch保存一个模型？）

    对于retrain之后的模型的要求：

    1. 在修改过错误样本label的训练集上希望精度->100%
    2. 在训练集的groundtruth上希望精度->原acc
    3. 在测试集的groundtruth上希望精度->原acc（理论上不能使用测试集的groundth）

    对照下表

    1. 蓝色的线应该趋向100%
    2. 绿色的线应该向蓝色的线靠近
    3. 红色的线应该向黄色的线靠近

    image.pngimage.png
    image.pngimage.png
    image.pngimage.png
    image.png
    首批生成的模型的相关性

    mnsit_lenet1 mnist_lenet4 mnist_lenet5 cifar10_vgg16 cifar10_resnet20 fashion_lenet5 svhn_lenet5
    0.4116 0.4798 0.4951 0.4910 0.5605 0.4891
    0.8797 0.8606 0.7564 0.5472 0.4854 0.5619 0.6893

    首批生成的模型中正确样本和错误样本的平均kill_rate

    mnsit_lenet1 mnist_lenet4 mnist_lenet5 cifar10_vgg16 cifar10_resnet20 fashion_lenet5 svhn_lenet5
    true 0.005779 0.009767 0.006239 0.027099 0.021852 0.043138 0.068925
    false 0.712051 0.716401 0.643308 0.383865 0.308324 0.374652 0.585038

    各模型随着epoch的增加，相关性的变化
    image.png