论文:链接
代码:https://github.com/xinge008/SCDA
(有开源代码,好好读一读。。。)
关键词: “where to look” , “how to align” ,

论文中认为使用GRL直接对齐整个image是不合适的对于detection任务来说,object detection任务是focuses on local regions的,因此论文中提出了一种方式去解决**哪里需要align如何去align**。

Introduction

背景:在目标检测域迁移过程中,object只占据一张复杂的image一小部分,绝大多数背景是没有意义的,而且domain直接的背景相似度不高,因此我们应该是关注object的invariant feature。
解决办法:因此论文中认为在adaptation过程中,region align应该从global to local. 因此论文中提出了两个components:
1、 Region Mining 2、Region-level Alignment.
也就对应解决两个问题“where to look” and “how to align”。
主要贡献如下**
(1)、在local region的层面进行解决domain gap的问题。
(2)、提出了一个框架在region-based 的层面上进行alignment。

**

Methodology

基本的思路是引入一个module去reconstructed patches在获取的features基础上,然后align这些patchs在source domain和target domain上。在反传中,这个module可以指导feature的学习,进而reducing domain gaps,在训练之后这个module将不再需要。
image.png
整体网络框架图
如上图所示,整个网络框架主要包括两个部分:(1)、Selective Alignment(CVPR2019) - 图2部分解决问题“where to look”,通过group 产生的object proposal选择重要的regions. (2)、Selective Alignment(CVPR2019) - 图3部分解决问题“how to align”,通过学习align image patch通过reconstructed from the feature of the selected region,主要学习流程通过对抗方式,具体参考——>https://www.yuque.com/weijiawu/research/agzefg

Region Mining

这个region mining component 首先分类出自认为important regions通过分组,然后使用这些region的representation去重构出这个区域的RoI features。

Grouping

论文中想要去得到object的区域,一个直接的方法是从RPN得到的proposal里面选,但有两个问题:
(1)、想得到一个fixed size region,方便后续处理。
(2)、来自于RPN的proposals经常有存在很多noisy的。
为了解决这两个问题,一个centroid-based的分组方式被提出,具体实现:再经过RPN之后,我们得到了Selective Alignment(CVPR2019) - 图4个region proposalsSelective Alignment(CVPR2019) - 图5,对每个proposal做Selective Alignment(CVPR2019) - 图6聚类,进而得到这个region的Selective Alignment(CVPR2019) - 图7,在该论文中固定了每个region,因此给定Selective Alignment(CVPR2019) - 图8之后就能获得这个fixed region。
image.png
如上图Selective Alignment(CVPR2019) - 图10所示,就是grouping的过程,黄色的是proposals,红色的是discriminative regions。星号是每个聚类的Selective Alignment(CVPR2019) - 图11

Feature Reassignment

论文中将每个selected region中的feature representation进行还原,通过堆积对应的RoI features,我们能获得一个matrixSelective Alignment(CVPR2019) - 图12,这里的Selective Alignment(CVPR2019) - 图13是proposal的数量对应第k个聚类。
为了fix feature的数量,论文中采取了一种简单的select-or-copy的方式,给定一个pre-defined number Selective Alignment(CVPR2019) - 图14, 如果Selective Alignment(CVPR2019) - 图15Selective Alignment(CVPR2019) - 图16更大,保留前Selective Alignment(CVPR2019) - 图17个特征,如果更小,copy the assigned features直到达到Selective Alignment(CVPR2019) - 图18个大小。

Adjusted Region-level Alignment

对于得到important region之后,就需要去解决how to align的问题了,基于region-based水平的对齐利用了GRL,具体看另一篇笔记 —-> https://www.yuque.com/weijiawu/research/agzefg

Region-Level Adversarial Alignment

Weighting Estimator

Total Objective Function