High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks
低频成分一般就是图片纹理或者信息，高频成分就是一些边缘和像素锐变区域。

  • 对于任何一个数据集，都应该包括语义信息(纹理信息或者说低频信息)和高频信息，只不过包括比例不定而已，并且对于同一个分布数据集，其语义分布和高频分布都应该有自己的分布特性。可以简单认为对于同一个类别标注的数据集，假设该数据集收集自多个场景，每个场景内的语义分布应该是近乎一致的(不然也不会标注为同一类)，但是高频分布就不一定了，可能和特定域有关，该高频成分可能包括和类别相关的特定信息，也可以包括分布外的噪声，并且该噪声对模型训练是有害的，会影响泛化能力。
  • 对于人类而言，标注时候由于无法感知高频成分故仅仅依靠语义进行标注，忽略了高频成分。但是CNN训练时候会同时面对语义低频成分和高频成分，这个gap就会导致CNN学习出来的模型和人类理解的模型不一样，从而出现常规的泛化认知错误。这一切实际上不能怪CNN，而是数据分布特性决定的。
  • 当CNN采用优化器来降低损失函数时，人类并没有明确告知模型去学习语义还是高频信号，这导致模型学习过程中可能会利用各种信息来降低损失。这样尽管模型可能会达到较高的准确率，但它理解数据的过程和人类不一样，从而导致大家认为CNN很垃圾。

  • 本文并没有说模型有捕捉高频信号的倾向性，这里的主要观点是模型并没有任何理由忽略高频信息，从而导致模型学到了高频和语义的混合信息。

  • Dropout、Mix-up、BatchNorm和Adversarial Training等，这些组件已经被证明可以提高模型泛化能力，作者试图采用本文观点进行分析成功的原因。

CNN中的高频信息和低频信息 - 图1

  • 大batch size训练时候,会同时考虑更多的非噪声的同分布高频成分，从而可以缩小训练和测试acc的误差间隔
  • dropout由于加入后和不加入时候差不多，所以看不出啥规律
  • 加入mixup后，训练acc和测试acc曲线gap变小，原因是mixup操作其实相当于混淆了低频语义信息，从而鼓励CNN尽可能多的去捕获高频信息
  • 当引入对抗样本后，cnn精度快速下降，原因是对抗样本可能是改变了高频分布(因为人眼无法感知),而训练过程中实际上学到的高频分布和对抗样本的高频分布不一致，从而CNN会完全预测错误
  • BN的分析作者单独进行分析

从以上分析可以看出，如果试图从数据的高低频分布以及CNN先学低频再学高频这个特性进行分析目前所提组件，是完全可以解释通的。

总结

本文从数据的高低频成分角度分析，得出如下结论：

  • CNN学习过程中会先尝试拟合低频信息，随着训练进行如果loss不再下降，则会进一步引入高频成分
  • 高频成分不仅仅是噪声，还可能包含和数据分布特性相关信息，但是CNN无法针对性的选择利用，如果噪声引入的程度比较多则会出现过拟合，泛化能力下降
  • 暂时没有一个好手段去除高频成分中的噪声，目前唯一能做的就是尝试用合适的半径阈值r去掉高频成分，防止噪声干扰，同时测试也需要进行相应去高频操作，或许可以提升泛化能力
  • mix-up、BN、对抗样本和早停止等提点组件都可以促进CNN尽可能快且多的利用高频成分，从而提升性能
  • 对抗鲁棒性较好的模型卷积核更加平滑，可以利用该特性稍微提高下CNN的鲁棒性

最后重申一句：人类标注时候仅仅是考虑低频语义信息，而CNN学习会考虑额外的高频成分，从而学习出的模型表现有时候不符合人类想法，这不是bug，也不是CNN垃圾，而是大家看到的和它想的不一样。