论文题目:Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary

作者单位:image.png

主要看点:

边界模糊 (ambiguous structure boundaries) 和 多种类型组合的纹理 (heterogeneous textures) 导致医疗图像中目标物体的准确范围难以确定。
为了解决这个问题,加入了 boundary key points 的监督,让网络自身去预测可能的 key points,从而更加注重于边界的定位和结构化信息。
至于为什么引入 key points 监督而不是直接用 boundary 监督,也许是为了避免 GT 标注时候的 uncertainty 问题。

方法部分:

模型的整体结构如下:
image.png

Boundary Key-point Selection Module

这一部分是在GT边界上取出N个合适的keypoints, 做法很暴力,随机取点计算由点构成的多边形和GT之间的IoU,多次随机后取IoU最大的一次作为结果,算法如下:
image.png
可视化效果大致如下(从左到右三次循环):
image.png

Boundary Preserving Block (BPB)

image.png
该模块如下运算:
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图7
其中[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图8是生成的 boundary key point map。在训练中使用 cross-entropy loss 监督如下
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图9
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图10并不是一个单像素的,是一个半径为 R 的⚪。

Shape Boundary-aware Evaluator (SBE)

用来判断预测图和Boundary key point map 一致性的模块,作为训练时候的损失。

image.png
这个网络是是预先训练好的,其优化的损失如下:
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图12,其中 D(·) 是image.png

Loss Function

Loss function 由三部分组成,第一部分直接是预测图和GT之间的CE Loss:

[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图14
第二部分是之前的那个 keypoints 的 CE loss:
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图15

最后是 boundary aware loss (BA),通过之前的判别器得到:
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图16

最终形式如下:
[20 CVPR] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary - 图17


实验结果:

从结果上来看,直接加入点的预测和监督对结果提升比较明显。
image.pngimage.png
可视化的效果如下:
image.png
image.png