所谓深监督(Deep Supervision)，就是在深度神经网络的某些中间隐藏层加了辅助Loss作为一种网络分支来对主干网络进行监督的技巧。与多任务不同，多任务有不同的GT计算不同的loss，而深监督的GT都是同一个GT，不同位置的loss按系数求和。
深监督作为一个训练trick在2014年就已经通过DSN(Deeply-Supervised Nets)提出来。

作用

  • 解决深度神经网络训练梯度消失和收敛速度过慢等问题
  • 可强化对网络中间阶段的学习效果（辅助分支能够起到一种判断中间层特征图质量好坏的作用）

深监督的结构

多Loss融合

对监督的每个阶段进行预测，预测结果分别与GT计算Loss，然后将多个Loss的结果按权重求和得到最终的Loss结果。这种方式可以通过修改权重占比来调整对不同部分的深监督重视程度。
注：语义分割这种任务要求预测图分辨率与GT相同，需要用到一些上采样方法，如双线性插值、反卷积等。
image.png

多预测融合

对监督的每个阶段进行预测，预测结果进行融合，融合的方式可以是concate后接入1x1conv或者直接相加。得到一个预测结果后计算Loss。
image.png

参考