• 分享主题：Transfer Learning, Domain Generalization, Feature Normalization
  • 论文标题：Style Normalization and Restitution for Generalizable Person Re-identification
  • 论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Jin_Style_Normalization_and_Restitution_for_Generalizable_Person_Re-Identification_CVPR_2020_paper.pdf

    1.Summary

    This is a paper on domain generalization. The problem solved in this paper is the Person Re-identification task in image recognition. If the camera position and time of shooting pedestrians are different, the shooting angle and brightness of the photos will also be different. This cross domain problem will make it more difficult to identify. In order to solve this problem, this paper proposes a model called Style Normalization and Restitution (SNR). SNR needs to be combined with other models, such as CNN. SNR first uses IN to eliminate the style differences between different domains, but IN will lose some information helpful to the classification task at the same time. So, then SNR finds the useful information in the lost information. Therefore, SNR is an improvement of IN, which makes up for the shortcomings of IBN-Net and further improves the migration effect. I can consult some other methods to improve the shortcomings of IN and papers that also use feature normalization to improve the transfer effect, so as to understand this article in depth.

    2.你对于论文的思考

    这篇文章讨论的是行人重识别中一个非常重要的跨域问题，如果训练的源域与实际使用的目标域不同，那么将会大大降低模型的效果，如何去解决这个问题，就是这篇论文的目的。在之前的一些文章中，已经使用IN去消除不同领域之间的风格差异，比如IBN-Net，从而提高识别效果，但是IN同时可能会丢失一些对分类任务有帮助的一些信息，所以本文提出了SNR的方法，把IN过程中丢失的有用信息再给找回来，并最终在实验中取得了比较好的效果。

    3. 其他

    3.1实现目标

    解决行人重识别中的跨域问题，本文的主要贡献就是在使用IN消除风格后，恢复丢失的图像内容，同时从内容中获取真正有用的信息。

    3.2模型：SNR

    如下图所示，SNR需要和一些别的模型相结合，如CNN，每两个卷积块之间插入一个SNR。
    20220313220832.png
    SNR流程：
    （1）利用IN对特征F归一化；
    image.png
    （2）获得损失的内容信息R；
    image.png
    （3）利用一个可学习的attention向量a，将R拆成两部分，R+表示对最终的分类任务有用的内容信息，R-表示没有用的内容信息；
    image.png
    image.png
    image.png
    （4）把R+和R-都加上归一化后的特征
    image.png
    image.png
    （5）假设a是锚，p是正样本（和a是同一类），n是负样本（和a不是同一类）。损失函数如下：
    image.png
    前一项为行人重识别的损失，后一项是双重因果损失，损失函数如下：
    image.png
    image.png
    image.png
    image.png
    image.png

    3.3实验

    数据集：Market1501 , DukeMTMC-reID , CUHK03 , MSMT17，PRID，GRID，VIPeR，i-LIDS。（都是些行人重识别的数据集）
    20220313222158.png
    20220313222235.png