论文:链接
代码:https://github.com/harsh-99/SCL
(有开源代码,好好读一读。。。)

K. Saito, Y. Ushiku, T. Harada, and K. Saenko, “Strong-Weak Distribution Alignment for Adaptive Object Detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 6956-6965

关键词: “weak global alignment” , “strong local alignment”

主要提出了一个strong local alignment和一个weak global alignment的概念去更好的实现域迁移工作。
作者认为在object detection中,不同的domain有不同的场景层次分布,所以使用GRL进行域迁移时候应该有侧重点,对于object区域(domain-invariant feature比较多的情况下)
应该进行strong alignment,对于global应该进行weak alignment。**

Introduction

背景:域迁移从label-rich to label-poor domain是十分有意义的。然后对于现阶段目标检测而言,fully matching整个数据集的分布在imge-level层面是有问题的,作者认为不同的domain有不同的场景层次分布和object组合。例如:在纹理和颜色的局部强alignment是有意义的,因为其不会改变对象类别的属性。
global matching对于small domain shift可能表现的会更好,但是对于很大的domain gap(different layout),直接进行gloabl matching可能会伤害表现,比如source domain可能只包含一个object,但在target domain上包含很多smaller objects。在这种情况下,local feature的strong alignment可能可以提升性能。
解决办法:因此论文中提出了一种域迁移方法based on strong local alignment and weak global alignment。
1、 Weak Alignment Model: 使用adversarial alignment loss在image-level进行对齐
2、Strong Domain Alignment: 只在local receptive fields of the feature map进行alignment。注意:这里的“local”不是instance-level的alignment,而是texture or color features with small receptive field。

**

Methodology

  • 做一个weak global alignment in the high-level feature space
  • 然后做strong local alignment in the low-level feature** space.**

整体网络框架如下:
image.png
**

3.1. Weak Global Feature Alignment

作者认为在alignment过程中有Easy- to-classify target examples和 hard-to-classify target examples,作者认为focus 在 hard-to-classify target example上面可以达到更好的效果。因此提出了一种weak global的方式忽略easy-to-classify侧重focus hard classify。
这个部分的loss如下:
image.png
Strong-Weak(CVPR2019) - 图3,Strong-Weak(CVPR2019) - 图4 分别代表source domain的数据和label,Strong-Weak(CVPR2019) - 图5 指的是formulation optimizes。网络Strong-Weak(CVPR2019) - 图6是network take feature from Strong-Weak(CVPR2019) - 图7
作者认为当source domain和target domain分布相差很大的时候,是很难去alignment的,因此改进了Focal loss提出了下面这个东西:
image.png
image.png
**

3.2. Strong Local Feature Alignment