可解释性 CNN可视化

卷积神经网络中的可视化方法 2019.08
目前CNN的可视化方法主要分为两种：

1 前向计算可视化

通过前向计算直接可视化深度卷积网络每层的feature map，然后观察feature map的数值变化。
一个训练成功的CNN网络，其feature map的值伴随网络深度的增加，会越来越稀疏。
Filter
Input & Filter => Output

t-SNE visualization

有时为了体现CNN提取到特征的相关性，我们可以把提取到的特征经行t-SNE降维，然后在二维平面显示出来

• 可以看出，视觉上看上去相似的图片，在降维后在平面上也很靠近。
• 我们提取的是fc7层的特征（也称为CNN-Code）,t-SNE降维为2维向量显示如下。

2 反向计算可视化 => 反卷积

反向信号向后传播将低维的feature maps 还原到原图像空间，可视化该feature map被原图哪部分特征激活，从而理解该feature map从原图像学习了何种特征。