图片.png

使用基于对比度先验和基于凸包的中心先验结果, 集合得到初始显著性图, 在此基础上使用图正则化(平滑先验)细化初始显著性图.

文章提出了一种新的自下而上的显著性目标检测方法，利用对比度，中心和平滑先验.

首先，使用对比度和中心先验计算初始显著性映射.

  • 对比度先验基于空间加权的色彩差值.
  • 基于凸包的中心先验, 与现有的基于图像中心的方法不同，使用兴趣点凸包来估计突出目标的中心，而不是直接使用图像中心。该策略使得显著性结果对目标的位置具有更强的鲁棒性.

其次，通过最小化一个连续的成对显著性能量函数来改进初始显著性映射(即平滑先验).
平滑先验使得该方法能够均匀地突出突出目标，同时有效地抑制背景.

论文要点

对比度先验

本文还是自下而上的一个模型. 自下而上的显著性方法是数据驱动的, 并依赖于一些预定义的假设(例如, 先验). 最
有影响力的先验是对比度，即显著性目标应该与背景形成强烈的外观对比. 对比度先验可以被从局部或者全局视野来研究. 据此, 对比度测量计算是分别关于局部邻域或者整幅图像的.

空间权重对比度测量在该文之前的文章中体现出来是有效地. 为了更为有效地计算,这里如前面的几篇论文一样, 使用了超像素技术. 并在CIELab色彩空间上计算色彩距离. 主要公式如下:

图片.png

这里的公式的指数指数项, 可以看作是一个小山包, 山包的顶峰位置是Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图3处, 距离越远, 指数项的值越小. 这一项乘以了色彩距离, 也就是距离越近的超像素, 色彩差异越大, 那么被研究的超像素, 显著性也就越高, 越远, 差异越小, 那么显著性也就越小.

这里的σ是用来控制空间权重的强度的一个参数. 这个式子表示的是对于超像素i, 它对应的色彩均值Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图4和超像素的平均位置Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图5(被归一化到了[0, 1]),

基于凸包的中心先验

image.png

但是,对比度先验图通常会不正确的检测到一些背景超像素,如上图1d.

通常，整个对象区域不能均匀高亮显示和不能有效抑制背景区域.

这里为了进一步提升效果, 尝试使用中心先验方法来进行解决.

中心先验已经被广泛使用在显著性检测中, 其假定显著性目标通常位于图像中心附近, 会给予中心附近的元素更高的显著性, 然而在许多的图像中, 显著性目标通常偏离图像中心. 这就导致基于图像中心的中心先验会不正确的抑制偏离图像中心的显著性区域或者增强位于图像中心附近的背景区域.

所以这里使用的是基于凸包的中心先验.

  1. 首先计算一个包含感兴趣点的凸包来估计凸包区域的位置
  2. 然后以凸包的质心为中心得到基于凸包的中心先验图

使用的公式如下:

image.png
注意

  • 这里计算位置的方式与式子1不同, 这里对于位置进行了拆分, 使用了各向异性的高斯函数进行建. 对于凸包中心而言, 越近的超像素的显著性越高.
  • 在实现中, 这里的两个σ是相等的.

凸包提供了一个粗糙的显著性目标的位置，基于凸包的中心先验图更加合理和健壮.

集成获得初始先验

受”特征集成理论”的启发, 这里融合了以上的两个先验图, 来获得初始先验图:

image.png

由图1e和f可以看出来, 当显著性目标偏离图像中心的时候, 基于凸包的显著性中心先验表现的更好.

然而, 基于图报的中心先验取决于凸包的精度, 因此这里在式子2中调整使用了固定的权重参数σ. 因为采用了对称的分布, 也就是两个σ相同. 这导致在在初始显著性图中, 使用基于凸包的中心先验产生的结果与实际中形状不对称, 尺寸有变化的显著性对象相比产生了不正确的检测.

使用图正则化细化显著性图(平滑先验)

进一步均匀高亮显著性区域和充分抑制背景区域, 引入了一个平滑先验. 将图像元素之间的交互考虑在内, 从而得到一个细化的显著性图.

平滑约束的使用在基于图形的对象分割中得到了很好的文献证明. 分割模型对平滑约束进行编码, 在能量函数中加入二元势函数鼓励相邻像素采用相同的标签.

先定义了一个稀疏连接的图模型Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图9, 这里的节点V表示的就是超像素的集合, 而边E, 是在两个存在共享边缘的超像素之间的无向连接. 对应于连接节点i,j的边的权重为如下定义的Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图10:

image.png

这里也使用了CIELab色彩空间来计算色彩距离.

接着定义了一个损失函数来编码平滑先验.

image.png

损失函数右边的第一项是拟合约束，这意味着一个好的显著性图不应该比初始显著性图变化太多. 而第二项是一个平滑约束, 意味着好的显著性图不应该在相邻超像素之间节点值有太大的变化.

这里的Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior - 图13越小, 则损失函数最小化的过程中更为关注初始先验图, 更接近初始. 而越大, 则更为关注平滑先验, 结果也更为平滑. 总体来说, 该损失函数越小越好.

为了优化使得损失函数最小, 这里使用关于S的倒数等于零, 来进行计算最优解. 这里应该是使用了矩阵表示后, 进行的微分计算. 最优解表示为:

image.png

改进的显著性映射有几个优点:

  1. 首先，对前景和背景的显著性对比进行了进一步的研究，得到了清晰的目标边界;
  2. 其次，可以对一些不正确的检测(如存在一些孤立的高显著性的背景元素或孤立的低显著性的显著性元素)进行部分校正，使前景和背景更加统一.

image.png

图2显示了平滑先验对优化显著性图的影响, 参数lambda越小，越强调拟合约束，这意味着初始标签的信息越重要.
对于lambda较大的节点，平滑约束的权重更大，这意味着每个节点从它的邻居那里接收到更多的信息.
**

总结

提出了一种利用对比度、中心和平滑先验的自底向上的显著性目标检测模型。

我们估计一个更精确的中心来适应对象位置的变化，并引入一个平滑先验改进结果。

在大型公共数据库上的显著性映射表明，该方法能够均匀地突出整个对象区域，有效地抑制背景区域。此外，该方法在精度和速度上均优于其他先进的检测方法，这表明基于凸包的中心先验和平滑先验有利于显著性检测。

在未来的工作中，我们将研究一个分层图像模型来编码不同尺度下的平滑先验。