This note is for recording some papers I’ve been read these days~: )

Reading Skills

Multiple passes to read papers

  1. Title/abstract/figures subtitles
  2. Intro+conclusion+figures+skim the rest
  3. Read but skip the math+skip the relative works
  4. Whole thing but what doesn’t make sense

Questions for testing yourself

  1. What do the authors try to accomplish?
  2. What are the key elements
  3. What can you use yourself
  4. what other references do you want to follow

Interpretable and Accurate Fine-grained Recognition via Region Grouping —- CVPR2020

本文提出了一种针对细粒度视觉识别的可解释性深度模型，核心在于把基于区域的部分发现法和归因法融合到一个DNN模型中。

该模型利用图像级别的目标标签进行训练，通过分割目标部分和检测它们对分类结果的贡献度进行解释。为了提高模型在无直接监督情况下学习目标部分的能力，本文在目标部分出现之前做了一个先验探索(?)。

主要贡献点：proposed an interpretable deep model for fine-grained visual recognition

  • 做细粒度分类，同时output the segmentation of object parts and the identification of their contributions towards classification，增加模型的可解释性
  • 为了确认objects parts，使用a simple prior(prior knowledge)。利用assumption：给定一张图，某个part出现的概率符合Beta distribution。[beta distribution没懂]

当这种先验跟融合基于区域的部分发现法和归因法一起使用时，本文提出的模型精度高且具有可解释性。对比目前最先进的分类方法，本文的模型在CUB-200，CelebA和iNaturalist细粒度目标检测数据集上取得了更好的效果。

High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks —- CVPR2020

作者注意到CNN有关注图像高频成分的能力，这些成分人类难以察觉。于是本篇论文就从频率角度探究了CNN到底在提取什么特征，主要研究图像数据频谱和CNN泛化行为之间的关系，

主要贡献：

  • 通过提供CNN利用图像高频成分来换取准确性的例子来揭示CNN准确性与鲁棒性之间的权衡。
  • 以图像频谱为工具，本文提出假设来解释CNN的几种泛化行为，特别是对标签混合数据的记忆能力。
  • 提出一种帮助提高CNN对抗简单攻击鲁棒性的方法，无需训练或微调模型。

启发：

Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift —- NlPS2019

现代机器学习方法(包括DL)已在监督学习任务的预测准确性方面取得了巨大成功，但仍无法对它们的预测不确定性给出有用的估计。量化不确定性在现实环境中尤为关键，由于各种因素（包括样本偏差和不平稳性），不确定性通常涉及输入分布，这些分布与训练分布有所不同。—-> 这里的不确定性理解为测试集的不确定性。

在这种情况下，经过良好校准的不确定性估计可以传达有关何时应该（或不应该）信任模型输出的信息。文献中已经提出了许多概率深度学习方法，包括贝叶斯方法和非贝叶斯方法，用于量化预测不确定性，但是据我们所知，以前在数据集移位下没有对这些方法进行严格的大规模实证比较。

我们提出了有关分类问题的现有最先进方法的大规模基准，并研究了数据集移位对准确性和校准的影响。我们发现，传统的事后校准确实不及其他几种先前的方法。但是，在模型上边缘化的某些方法在广泛的任务中给出了令人惊讶的强大结果。

主要贡献：

  • 本文提出一个用于评价/衡量不确定性的基准，不仅关注独立同分布设置，还关注分布移位下的不确定性。
  • 提出了概率深度学习中流行的大规模评估法，重点关注在大规模设置中运行良好的方法，并在跨越图像、文本和分类模式的各种分类基准上评估它们。

用实验证明以下三点：

  • 数据集偏移下不同方法的不确定性估计值有多可信？
  • 独立同分布设置中的校准是否转换为数据集偏移下的校准？
  • 在数据集偏移下，不同方法的不确定性和准确性如何变化？ 在这种情况下，是否有方法一贯有效？

涉及概率深度学习，有很多概率方面的知识不是很清楚，所以这篇文章暂时没有给我启发

Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks —- CVPR2019

为了验证网络，了解它们的决策、训练数据的局限性以及可能存在的缺陷是很重要的。在这项工作中，我们提出了一种基于事后优化的视觉可解释方法，可以突出网络对输入图片做特定决策时的关键证据。

我们的方法基于一种新技术，该技术通过在优化期间过滤梯度达到防御对抗证据(由于人为产生的出错证据)。这种防御方法不依靠人来调节参数。我们的方法不仅可以达到对细粒度进行解释，同时保留图像的特征(例如边缘和颜色)。

这些解释是可解释的，适合于详细证据的可视化，并且可以被测试(因为它们是有效模型的输入)。本文在大量的模型和数据集上定性和定量地评估我们的方法。

Interpreting CNN Knowledge Via An Explanatory Graph —- AAAI2018

本文学习一个图模型，名为解释图，该解释图揭示隐藏于预训练CNN内的知识层次。考虑预训练CNN中每个filter通常表示一个目标部分的混合，我们提出一个简单有效的方法自动从每个filter中解开不同的部分模式，并构建一个解释图。【例如第一个filter检测鸟头，第二个filter检测鸟尾巴，因为这两个filter被这张图片触发，所以检测出图像中有一只鸟，进一步，知道鸟的分类得分为0.7，我还希望CNN给出鸟头部分贡献了0.3的得分，鸟尾巴贡献了0.2的得分。也就是说，当CNN内部逻辑结构条理足够清晰的时候，我们是否能在语义层面直接debug CNN？】

在解释图中，每个结点代表一个部分模式，每个边编码不同模式间的共激活和空间关系。更重要的是，我们以一种非监督的方式学习预训练CNN的解释图，即不需要标注目标部分。实验结果表明，每个图结点在不同图像中持续表示同一目标部分。将解释图中的部分模式迁移到目标定位任务中，该方法表现优于其他方法。

主要贡献：

  • 提出一种简单有效的方法，澄清隐藏于预训练的CNN中的混沌知识，利用解释图模型总结其深度知识层次。该图模型从CNN的每个filter中解开部分模型。实验结果表明，在不同图像中，每个图结点持续表示同一目标部分；
  • 该方法可以应用于不同CNN结构，如VGG，残差网络，VAE-GAN，自编码器；
  • 所挖掘的模式具备良好的迁移性，在多目标部分定位任务中，尤其明显。该方法在没有部分标注的情况下预训练，我们基于迁移学习的部分定位由于其他具备部分标注的其他方法。

最后想分享一篇观点独特的论文

Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead —- 2019NMI

对现有ML/DL可解释性工作研究的观点：

  1. 模型的准确度和可解释度成反比，accuracy/ interpretability/explainability trade-off。有图
  2. 解释一定是错误的。他们对原始模型不能完全保真。如果解释完全忠实于原始模型的计算结果，则该解释将等于原始模型，并且首先不需要解释的就是原始模型。
    关于explainable的一个更重要的误解源自术语“interpretable”，该术语通常以一种误导性的方式使用，因为interpretable模型并不总是试图模仿原始模型所做的计算。
    甚至预测模型几乎与黑盒模型相同的解释模型也可能会使用完全不同的功能，因此对黑盒的计算也不忠实。
  3. 解释通常没有意义，或者没有提供足够的细节来理解黑匣子在做什么。即使两个模型都是正确的，也有可能由于解释遗漏了太多信息，因此毫无意义 。

对ML/DL未来工作方向的启发：

  1. constructing optimal logical models 建立最优逻辑模型，像决策树那样的
  2. construct optimal sparse scoring systems 建立最优稀疏评分系统，对特征评分
  3. define interpretability for specific domains and create methods accordingly, including computer vision 对特定领域建立解释方法