1. 模型一开始会快速的学习简单的样本,后面开始学习难/带噪样本
    2. 为了提升鲁棒性,我们希望能够一定程度的丢弃这种难样本,适当的学习

    方法就是训练两个网络

    1. 对于当前的Batch,送入网络1,得到每一个的loss1,送入网络2,得到每一个loss2
    2. 选择loss1里小的T%的数据,用于训练网络2,反之用loss2里最小T%的数据训练网络1

    当然可以只用一个网络,但是这样可能会因为一些错误筛选的样本导致错误的累积,因此用两个网络这样互相训练会好一点

    image.png

    Noise Transition Matrix就是把一类样本标注为另一类样本的概率(注入错误的标签,即噪声)