多变量时间数据检测异常的附加解释

摘要

从高维多变量时间数据中检测异常是具有挑战性的，因为信号之间存在非线性、复杂的关系。 近年来，基于自动化的深度学习方法 已经被证明可以捕捉这些关系，并准确地识别正常和异常的行为模式，即使在完全无监督的情况下。 但是，确认异常 没有额外的解释是很困难的。 在本文中，我们扩展了SHAP-一个提供加性解释的统一框架，以前应用于监督模型-具有影响加权，为了解释基于GRU的自动编码器多元时间序列的异常检测。 即我们提取出对异常影响最大的信号以及对异常产生影响（抵消）的信号。 我们在两个用例上评估了我们的方法，并表明我们可以针对单个和多个异常产生深刻的解释。
多变量时间数据检测异常的附加解释
AE: AutoEncoding

1 介绍

提出基于AE的异常检测方法，并提出难解释，接下来说明目前的LIME、DEEPLIFT、SHAP异常解释方法，最后使用基于GRU的AE(多时间数据异常检测),提出kernel SHAP扩展的带影响权重的解释方法同时输出贡献影响和抵消影响，即wKSH，并评估了有效性，领域专家能够对其做出解释，以及获得有关异常事件如何触发或消除的有用见解。

2 相关工作

不同的方法
SHAP一种统一了LIME,DeepLIFT、layer-wise relevance propagation and variations on Shapley value estimation to compute通过Integrated gradients将预测值归因于输入特征。
AVA 结合SHAP和Integrated gradients,在事件的影响下，在监督分类任务中建立事后局部解释和全局模式。
该算法基于考虑到数据中存在异常的近似概率模型，并且通过最大化对数似然率，它估计哪些特征有助于将数据确定为异常。 [1]通过最小化集内方差和最大化集间方差来学习特征空间的适当映射以检测异常。 两项工作都需要用正常数据训练检测器，因此是半监督的。
任务是通过非监督方式对数据进行归因，文中指出利用AE进行异常检测和解释。提出SHAP是不能应用于时间数据和非监督任务的。

3 方法

数据集S,n个样本。其中每个样本由长度为L的多元时间序列表示，,是一个矩阵，(v是信号的个数，T是时间步骤长度{},我们利用基于GRU的AE，通过非线性映射将高维输入空间编码成一个低维嵌入，并重建原始输入,,时间点 的重构误差计算为每个信号差的和 ,用于检测拥有以下特征的异常样本：

1. 每个时间戳的重构误差超过均值d个标准差（例如d = 3）
2. 的重构误差是每个时间戳的重构误差的平均值

我们的挑战是，通过计算重构信号的SHAP值，为每个异常解释哪些输入信号对该信号做出了贡献，哪些信号对其进行了抵消。 不仅如此，我们还想找出所有或部分异常的最有力信号。

3.1 SHAP

主要介绍了SHAP的工作和概括A Unified Approach to Interpreting Model Predictions

//v是数据点的个数，T是时间个数

3.2 为异常产生解释

由于是每个时间戳 重构误差的平均值，，因此我们去掉时间戳以简化表示，用 表示重排序后的数据，对于排序规则为，令，是至少包含了85%的重构误差 的最小集合。
对于每个样本，或者样本集合，我们想要通过kernel SHAP检测信号对重构误差的重要影响，我们在检测一个样本或样本集合是否是异常时，计算出shapley values，记作。kernel SHAPE的入参是一个模型g和一些参考s样本集合，为了建立一个局部解释模型，并计算SHAP values，（触发与实例数量一样多的模型重新评估）。推荐使用至少s=2v个数的实例。（line 6 ）我们建立一个二维向量,其中每一行包含来自一个信号的SHAP值。由于内核SHAP需要一维向量，因此我们将每个信号的时间戳取平均值，并将其折叠为单个值，即。

选择背景样本
kernel SHAP使用(LIME的思想)一些样本，随机从S中选取固定数量的来计算，相反我们这里用影响权重来选取附近的邻居，定义如下：

是S中除了之外的所有样本的影响权重，这些影响权重导致了以为中心的概率分布，我们选择的最有影响力的邻居，定义为,并且使用它来计算SHAP。
最后，我们将信号分为贡献异常和抵消异常，这取决于重构信号和原始信号的关系，如果，正的SHAP value视为抵消异常，负的SHAP value视为贡献异常；如果，为每个信号维持两个列表在，分别为。在这两个列表中，SHAP值较高的信号最有兴趣解释检测到的异常。
【这里的f是怎么定义的？为什么将权重定义为这个形式？】
第一种是使用脑电记录来检测癫痫发作，第二种是根据关键性能指标(KPI)检测大规模存储的性能异常。 我们证明了 可以为单个（本地）和多个样本，甚至整个数据集(дlobal)生成e解释。 领域专家也可以利用这种解释来验证异常情况 了解异常事件是如何触发或抵消的

5 结论

在本文中，我们已经展示了如何扩展核SHAP，以提供加性的解释，通过一个无监督的基于GRU的AE从高维多变量时间数据。 规格通常，我们使用影响加权来生成用于计算时间序列样本每个信号的SHAP值的样本信息邻域。 然后，我们生成contributinд和c列表个体或多个（甚至所有）异常的ounteractinд信号。 我们在两个用例中评估了我们的方法，并表明我们可以在空间或时间上提供局部和全局的解释。 领域专家用来验证异常，并获得关于异常事件是如何触发或抵消的有用见解

END