Related work

  1. Self-training的思想：用pseudo label扩充数据集。eg：AdvSSL
  2. consistcency learning：让决策边界移动到低密度的地方。eg：GCT，CCT

    Motivation

    近年来都focus on consistency learning上，而忽略了self-training，实验发现self-training在数据量不那么小的时候，性能非常强。于是考虑将Self-training和consistcency learning组合起来做 semi-supervised segmentation
    在GCT的基础上引用self-training的思想，达到扩展数据集的效果，使效果更好

    Method

    结构

    image.png
    Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图2和Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图3结构为 DeepLabv3+ with ResNet-50，两个网络的骨架部分的权重是通过同一个预训练模型加载的，分割头部的参数是随机的

image.png
image.png
Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图6和Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图7输入是相同的

loss

image.png
image.png、
image.png
image.png

Incorporation with the CutMix augmentation

  1. 生成两份unlabel data：unlabel1 和 unlabel2，并混合，带入2个f，得到两份先混合再训练输出p1和p2
  2. 将两份unlabel data带入两个模型得到4个输出，并混合同一f的输出，取max，得到两份先训练再混合的pseudo label
  3. 与第二步得到的label1和label2与p2和p1做cross entropy：

image.png
2D45E1DBD20D1F469B02D50FBE7C75E7.png

cutmix的作用：要求模型从局部视图识别对象，在cut区域中添加其他样本的信息可以进一步增强模型的定位能力

Experiments

Datasets：PASCAL VOC 2012 Cityscapes

Improvements over baselines

image.png
All the methods are based on DeepLabv3+ with ResNet-50 or ResNet-101. 模型的改进是有效的

Comparison with SOTA

image.png

  1. CPS（w/o CutMix） 除了比CutMix-Seg差，比其他的都好（说明加了self-training之后超过了GCT）
  2. CPS（w/ CutMix）是所有表现中最好的，特别是在1/16时比CutMix-Seg好3.08%和1.92%（说明CPS比CutMix-Seg中的mean teacher好）
  3. CutMix在少label中表现更好，eg：1/16比1/8提升大

    Ablation experiments

    image.png
    （1）Cross pseudo supervision
    （2）Comparison with cross probability consistency (self-training的作用)
    (3) Combination/comparison with self-training (consistcency regularization的作用)
    image.pngimage.png
    组合起来最好，这是因为consistcency regularization的影响

效果

image.png
2007_000129.jpg2007_000129.png2007_004112.jpg2007_004112.png
没有cutmix效果还是不太好的，感觉主体网络还有提升的空间

discussion

image.png

为什么好？其他网络为什么不好？

self-training可以扩充数据集，consistency regularization 让决策边界移动到低密度的地方，simple
（b）CPC，GPC的简化版本，有flaw detector保证P质量，局限性是flaw detector只受labeled data训练
（c） Mean teacher，Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图25，局限性是强扰动将改变像素级任务的标签
（d）PseudoSeg，对输入的图像X做两次不同的数据增强，一种“弱增强”，一种“强增强”。将两个增强后图像输入同一个网络Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图26，得到两个不同的输出，因为“弱增强”下训练更加稳定，用“弱增强”后的图像作为target

怎样更好？

(1) 连接更多的Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision - 图27
(2) 如何保证P的质量？threshold，flaw detector

self-training能做到多好
数据增强