论文 Koh P W, Liang P. Understanding black-box predictions via influence functions[C]//International Conference on Machine Learning. PMLR, 2017: 1885-1894.

增权影响函数

本文从深度学习的黑盒子中，思考单个样本对整个训练的影响。

假设采用所有训练数据可以训练模型
(1)

对整体模型的影响体现在对测试中每个样本的测试结果的影响，那么最直接的测试手段就是将这个样本从训练集中去掉重新训练得到模型

通过对比前后模型的差异来检测效果

然而，对训练集中的每个样本进行这样的重训练花费的运算量太大了。

可以采用一种简单的方法去近似这种影响，那就是增权影响函数。通过对需要去除的样本的训练增加一个小的权重，训练过程表示为
(2)
增权函数对于模型参数的影响可以写为

其中，海森矩阵假设是正定矩阵

证明：

由式（1）（2）可得，当时，有，且其所在位置为极值，导数为0。

由（2）知道，对 求导得

再对求导得

当时，由于，可得

因为，将样本去除，等价于令，那么参数变化可以用上述影响函数来近似

同理，通过链式法则，可以推算出将训练样本去除对测试样本的影响

增权影响函数的简便运算

增权影响函数的计算是非常麻烦的，体现在两点

• 需要计算海森矩阵的逆矩阵，对于，复杂度；
• 对一个测试数据，需要对数据集每个样本做这样的操作。

对此可以采用近似方法，计算 Hessian-vector products （HVP），令

可以得到