image.png

论文题目：Content-Aware Multi-Level Guidance for Interactive Instance Segmentation

作者及单位：image.png

主要看点：

  1. 先用算法生成分割的cues，然后在进行分割，类似于Click Carving的思路；[18 ECCV & 19 IJCV] Click Carving
  2. Guidance Map的生成方法

方法部分：

Guidance Map

之前传统的方法生成距离图的方法是这样的，定义[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图4，对于每个位置p，它的距离图如下计算：
[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图5，其中d(·,·)为欧氏距离。

Superpixel-based guidance map

设[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图6是把一个点映射为一个superpixel区域的函数。
[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图7，[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图8是两个superpixels中心的欧氏距离。
中心的计算方法为[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图9，其中[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图10为[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图11中的像素数。生成图rescale到[0, 255]。
生成的效果如下：
image.png

Object-based guidance map

这个Guidance是根据MCG提供的object proposal生成的。[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图13是包含点p的所有object proposal的集合。

[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图14，其中[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图15是一个 indicator function ， 当[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图16包含p的时候返回1。生成图rescale到[0, 255]。
生成的效果如下：

image.pngimage.png

Scale-aware guidance

[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图19

[19 CVPR] Content-Aware Multi-Level Guidance for Interactive Instance Segmentation - 图20

为了估计标度度量s，作者使用前两次点击，一次是正的，一次是负的，并假设两者之间的欧几里德距离是fs、f1和f2。如下图：
image.png

网络结构

最终把这些得到的Guidancce Map和原图输入就得到了最后的结果了。
Distance Transform是上一轮Prediction Mask得到的。
image.png