异常检测——线性相关方法

@(Aaron) [异常检测, 线性方法]

主要内容包括：

• 线性回归
• 主成分分析

1、引言

  真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析。
  一类相关性分析试图通过其他变量预测单独的属性值，另一类方法用一些潜在变量来代表整个数据。前者的代表是 线性回归，后者一个典型的例子是 主成分分析。本文将会用这两种典型的线性相关分析方法进行异常检测。

  需要明确的是，这里有两个重要的假设：

  假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。

  假设二：子空间假设。子空间假设认为数据是镶嵌在低维子空间中的，线性方法的目的是找到合适的低维子空间使得异常点(o)在其中区别于正常点(n)。

  基于这两点假设，在异常检测的第一阶段，为了确定特定的模型是否适合特定的数据集，对数据进行探索性和可视化分析是非常关键的。

2、数据可视化

  以breast-cancer-unsupervised-ad数据集为例做一些简单的数据可视化。

#coding:utf-8
#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

## 1) 载入训练集和测试集；
path = 'dataverse_files/'
f=open(path+'breast-cancer-unsupervised-ad.csv')
Train_data = pd.read_csv(f)

## 2) 简略观察数据(head()+shape)
Train_data.head()

## 2) 简略观察数据(tail()+shape)
Train_data.tail()

## 1) 通过describe()来熟悉数据的相关统计量
Train_data.describe()

## 2) 通过info()来熟悉数据类型
Train_data.info()

numeric_features = ['f' + str(i) for i in range(30)]
## 1) 相关性分析
numeric = Train_data[numeric_features]
correlation = numeric.corr()
f , ax = plt.subplots(figsize = (14, 14))
sns.heatmap(correlation,square = True)
plt.title('Correlation of Numeric Features with Price',y=1,size=16)
plt.show())

## 3) 每个数字特征得分布可视化
f = pd.melt(Train_data, value_vars=numeric_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=6, sharex=False, sharey=False)
g = g.map(sns.distplot, "value", hist=False, rug=True)

#变量两两之间的相关性
sns.set()
sns.pairplot(Train_data[numeric_features],size = 2 ,kind ='scatter',diag_kind='kde')
plt.savefig('correlation.png')
plt.show()

#数据降维可视化
from sklearn.manifold import TSNE
tsne = TSNE(n_components=2, init='pca', random_state=0)
result = tsne.fit_transform(numeric)
x_min, x_max = np.min(result, 0), np.max(result, 0)
result = (result - x_min) / (x_max - x_min)
label = Train_data['label']
fig = plt.figure(figsize = (7, 7))
#f , ax = plt.subplots()
color = {'o':0, 'n':7}
for i in range(result.shape[0]):
    plt.text(result[i, 0], result[i, 1], str(label[i]),
                color=plt.cm.Set1(color[label[i]] / 10.),
                fontdict={'weight': 'bold', 'size': 9})
plt.xticks([])
plt.yticks([])
plt.title('Visualization of data dimension reduction')

3、线性回归

  在线性回归中，我们假设不同维度的变量具有一定的相关性，并可以通过一个相关系数矩阵进行衡量。因此对于特定的观测值，可以通过线性方程组来建模。在实际应用中，观测值的数量往往远大于数据的维度，导致线性方程组是一个超定方程，不能直接求解。因此需要通过优化的方法，最小化模型预测值与真实数据点的误差。

  线性回归是统计学中一个重要的应用，这个重要的应用往往是指通过一系列自变量去预测一个特殊因变量的值。在这种情况下，异常值是根据其他自变量对因变量的影响来定义的，而自变量之间相互关系中的异常则不那么重要。这里的异常点检测主要用于数据降噪，避免异常点的出现对模型性能的影响，因而这里关注的兴趣点主要是正常值(n)。

  而我们通常所说的异常检测中并不会对任何变量给与特殊对待，异常值的定义是基于基础数据点的整体分布，这里我们关注的兴趣点主要是异常值(o)。

广义的回归建模只是一种工具，这种工具既可以用来进行数据降噪也可以进行异常点检测。

3.1 基于自变量与因变量的线性回归

3.1.1 最小二乘法

  为了简单起见，这里我们一元线性回归为例:

  变量Y为因变量，也就是我们要预测的值；为一系列因变量，也就是输入值。系数为要学习的参数。假设数据共包含个样本，第个样本包含的数据为和，带入式(1)如下式所示：

  这里为第个样本的误差。以 代表 的因变量矩阵%7D%5E%7BT%7D#card=math&code=%7B%28y%7B1%7D…y%7BN%7D%29%7D%5E%7BT%7D)，即样本中的真实值；以代表#card=math&code=N%20%5Ctimes%20%28d%2B1%29)的自变量矩阵，其中第行为#card=math&code=%28x%7Bj1%7D…x%7Bjd%7D%2C%201%29)；以 代表 %20%5Ctimes%201#card=math&code=%28d%2B1%29%20%5Ctimes%201) 的系数矩阵%5E%7BT%7D#card=math&code=%28a%7B1%7D…a%7Bd%2B1%7D%29%5E%7BT%7D)。则模型可表示为：

%20%3D%20U%20%5Ccdot%20A%0A#card=math&code=f%28U%2C%20A%29%20%3D%20U%20%5Ccdot%20A%0A)

  定义目标函数为：

%20%3D%20%5Cfrac%7B1%7D%7B2%7D%7B%5Cleft%5C%7C%20%7BY%20-%20U%20%5Ccdot%20A%7D%20%5Cright%5C%7C%5E2%7D%20%0A#card=math&code=L%28A%29%20%3D%20%5Cfrac%7B1%7D%7B2%7D%7B%5Cleft%5C%7C%20%7BY%20-%20U%20%5Ccdot%20A%7D%20%5Cright%5C%7C%5E2%7D%20%0A)

  目标函数是关于的凸函数，其对求偏导为：

%7D%7D%7B%7B%5Cpartial%20A%7D%7D%20%3D%20%5Cfrac%7B1%7D%7B2%7D%5Cfrac%7B%7B%5Cpartial%20%7B%7B%5Cleft%5C%7C%20%7BY%20-%20U%20%5Ccdot%20A%7D%20%5Cright%5C%7C%7D%5E2%7D%7D%7D%7B%7B%5Cpartial%20A%7D%7D%20%3D%20%20-%20%7BU%5ET%7D(Y%20-%20U%20%5Ccdot%20A)%0A#card=math&code=%5Cfrac%7B%7B%5Cpartial%20L%28A%29%7D%7D%7B%7B%5Cpartial%20A%7D%7D%20%3D%20%5Cfrac%7B1%7D%7B2%7D%5Cfrac%7B%7B%5Cpartial%20%7B%7B%5Cleft%5C%7C%20%7BY%20-%20U%20%5Ccdot%20A%7D%20%5Cright%5C%7C%7D%5E2%7D%7D%7D%7B%7B%5Cpartial%20A%7D%7D%20%3D%20%20-%20%7BU%5ET%7D%28Y%20-%20U%20%5Ccdot%20A%29%0A)

  令%7D%7D%7B%7B%5Cpartial%20A%7D%7D%3D0#card=math&code=%5Cfrac%7B%7B%5Cpartial%20L%28A%29%7D%7D%7B%7B%5Cpartial%20A%7D%7D%3D0)，得到最优参数为：

%5E%7B-1%7D%20%5Ccdot%5Cleft(U%5E%7BT%7D%20%5Ccdot%20Y%5Cright)%0A#card=math&code=A%3D%5Cleft%28U%5E%7BT%7D%20%5Ccdot%20U%5Cright%29%5E%7B-1%7D%20%5Ccdot%5Cleft%28U%5E%7BT%7D%20%5Ccdot%20Y%5Cright%29%0A)

  这种求解线性回归参数的方法也叫最小二乘法。

  最小二乘法要求矩阵 可逆，即是满秩的。当不可逆时可以通过两种方法进行参数估计，一种先使用主成分分析等方法来预处理数据，消除不同特征之间的相关性，然后再使用最小二乘法。第二种方法是使用梯度下降法。

3.1.2 梯度下降法

数据集

  监督学习一般靠数据驱动。我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），通常还应该有一个用于防止过拟合的交叉验证集和一个用于评估模型性能的测试集(test set)。一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。

损失函数

  如果把线性回归看作是一个优化问题，那么我们要优化的目标就是损失函数。损失函数是用来衡量样本误差的函数，我们的优化目标是要求得在误差最小的情况下模型参数的值。这里强调一下损失函数和代价函数的区别：

注意：
Loss Function(损失函数)：the error for single training example;
Cost Function(代价函数)：the average of the loss functions of the entire training set;

  线性回归常用的损失函数是均方误差，表达式为：

%7D(%5Cmathbf%7Bw%7D%2C%20b)%3D%5Cfrac%7B1%7D%7B2%7D%5Cleft(%5Chat%7By%7D%5E%7B(i)%7D-y%5E%7B(i)%7D%5Cright)%5E%7B2%7D%0A#card=math&code=l%5E%7B%28i%29%7D%28%5Cmathbf%7Bw%7D%2C%20b%29%3D%5Cfrac%7B1%7D%7B2%7D%5Cleft%28%5Chat%7By%7D%5E%7B%28i%29%7D-y%5E%7B%28i%29%7D%5Cright%29%5E%7B2%7D%0A)

%3D%5Cfrac%7B1%7D%7Bn%7D%20%5Csum%7Bi%3D1%7D%5E%7Bn%7D%20l%5E%7B(i)%7D(%5Cmathbf%7Bw%7D%2C%20b)%3D%5Cfrac%7B1%7D%7Bn%7D%20%5Csum%7Bi%3D1%7D%5E%7Bn%7D%20%5Cfrac%7B1%7D%7B2%7D%5Cleft(%5Cmathbf%7Bw%7D%5E%7B%5Ctop%7D%20%5Cmathbf%7Bx%7D%5E%7B(i)%7D%2Bb-y%5E%7B(i)%7D%5Cright)%5E%7B2%7D%0A#card=math&code=L%28%5Cmathbf%7Bw%7D%2C%20b%29%3D%5Cfrac%7B1%7D%7Bn%7D%20%5Csum%7Bi%3D1%7D%5E%7Bn%7D%20l%5E%7B%28i%29%7D%28%5Cmathbf%7Bw%7D%2C%20b%29%3D%5Cfrac%7B1%7D%7Bn%7D%20%5Csum%7Bi%3D1%7D%5E%7Bn%7D%20%5Cfrac%7B1%7D%7B2%7D%5Cleft%28%5Cmathbf%7Bw%7D%5E%7B%5Ctop%7D%20%5Cmathbf%7Bx%7D%5E%7B%28i%29%7D%2Bb-y%5E%7B%28i%29%7D%5Cright%29%5E%7B2%7D%0A)

  其中 为预测值， 为真实值。
优化算法 - 随机梯度下降

  当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

  在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失和有关模型参数的导数（梯度），最后用此结果与预先设定的学习率的乘积作为模型参数在本次迭代的减小量。如下式所示：

%20%5Cleftarrow(%5Cmathbf%7Bw%7D%2C%20b)-%5Cfrac%7B%5Ceta%7D%7B%7C%5Cmathcal%7BB%7D%7C%7D%20%5Csum%7Bi%20%5Cin%20%5Cmathcal%7BB%7D%7D%20%5Cpartial%7B(%5Cmathbf%7Bw%7D%2C%20b)%7D%20l%5E%7B(i)%7D(%5Cmathbf%7Bw%7D%2C%20b)%0A#card=math&code=%28%5Cmathbf%7Bw%7D%2C%20b%29%20%5Cleftarrow%28%5Cmathbf%7Bw%7D%2C%20b%29-%5Cfrac%7B%5Ceta%7D%7B%7C%5Cmathcal%7BB%7D%7C%7D%20%5Csum%7Bi%20%5Cin%20%5Cmathcal%7BB%7D%7D%20%5Cpartial%7B%28%5Cmathbf%7Bw%7D%2C%20b%29%7D%20l%5E%7B%28i%29%7D%28%5Cmathbf%7Bw%7D%2C%20b%29%0A)

学习率(): 代表在每次优化中，能够学习的步长的大小
批量大小(): 是小批量计算中的批量大小batch size

3.2 基于异常检测的线性回归

  前一节讨论了这样一种情况：即一个特定的变量被认为是特殊的，最优平面是通过最小化该特殊变量的均方误差而确定的。而我们通常所说的异常检测中并不会对任何变量给与特殊对待，异常值的定义是基于基础数据点的整体分布，因此需要采用一种更一般的回归建模：即以相似的方式对待所有变量，通过最小化数据对该平面的投影误差确定最佳回归平面。在这种情况下，假设我们有一组变量 ， 对应的回归平面如下：

  为了后续计算的方便，对参数进行如下约束：

  以范数作为目标函数：

  这样的一个问题可以通过主成分分析方法得到有效解决，我们会单独用一个部分进行讨论。

4、主成分分析

  上一节的最小二乘法试图找到一个与数据具有最佳匹配 #card=math&code=%28d%E2%88%921%29) 维超平面。主成分分析方法可用于解决这一问题的广义版本。具体来说，它可以找到任意 #card=math&code=k%28%20k%3Cd%20%29) 维的最优表示超平面，从而使平方投影误差最小化。

4.1 原理推导

  对于 维，包含 个样本的数据，用 表示其中第 行为：。由此可以得到 的协方差矩阵（标准的PCA应当计算相关系数矩阵，即对数据进行均值为0方差为1的标准化处理，而协方差矩阵只需要减去均值即可）:

%5E%7BT%7D%20%5Ccdot%20(R%20-%20%5Cbar%7BR%7D)%20%0A#card=math&code=%CE%A3%20%3D%20%28R%20-%20%5Cbar%7BR%7D%29%5E%7BT%7D%20%5Ccdot%20%28R%20-%20%5Cbar%7BR%7D%29%20%0A)

  易知协方差矩阵 是对称并且半正定的，因此可以进行相似对角化：

  这里的 为对角矩阵，对角元素为特征值； 为标准正交矩阵，每一行为对应的特征向量；这些标准正交向量提供了数据应该投影的轴线方向。与异常检测相关的主成分分析的主要性质如下：

• 如果前 的特征向量选定之后（根据最大的个特征值），由这些特征向量定义的 维超平面是在所有维度为 的超平面中，所有数据点到它的均方距离尽可能小的平面。

• 如果将数据转换为与正交特征向量对应的轴系，则转换后的数据沿每个特征向量维的方差等于相应的特征值。在这种新表示中，转换后的数据的协方差为0。

• 由于沿特征值小的特征向量的转换数据的方差很低，因此沿这些方向的变换数据与平均值的显着偏差可能表示离群值。

  需要注意的是，相比2.2节的内容，这里提供了一个更加普遍的解决方法。2.2中的内容可以归为主成分分析中只保留最大特征值对应的特征向量的情况。

  在得到这些特征值和特征向量之后，可以将数据转换到新的坐标系中。以 表示新坐标系中的数据，这些数据可以通过原始向量 与包含新轴系的标准正交特征向量矩阵 的乘积来实现。

  在许多涉及高维数据集的真实场景中，很大一部分特征值往往非常接近于零。这意味着大多数数据都沿着一个低维的子空间排列。从异常检测的角度来看，这是非常方便的，因为离这些投影方向非常远的观测值可以被假定为离群值。例如，对于特征值较小（方差较小）的特征向量 ，第 条记录的 与 的其他值的偏差较大，说明有离群行为。这是因为当固定而变化时， 的值应当变化不大。因此， 值是不常见的。

  在不选取任何特定的 维集合的情况下，一种更精确的异常检测建模方法是使用特征值来计算数据点沿每个主分量方向到质心的归一化距离。设 为第 个特征向量， 为沿该方向的方差(特征值)。数据点相对于对数据质心$\bar{\mu} $的总体归一化异常得分可以由下式给出:

%3D%5Csum%7Bj%3D1%7D%5E%7Bd%7D%20%5Cfrac%7B%5Cleft%7C(%5Cbar%7BX%7D-%5Cbar%7B%5Cmu%7D)%20%5Ccdot%20%5Cbar%7Be%7D%7Bj%7D%5Cright%7C%5E%7B2%7D%7D%7B%5Clambda%7Bj%7D%7D%0A#card=math&code=S%20%5Coperatorname%7Bcore%7D%28%5Cbar%7BX%7D%29%3D%5Csum%7Bj%3D1%7D%5E%7Bd%7D%20%5Cfrac%7B%5Cleft%7C%28%5Cbar%7BX%7D-%5Cbar%7B%5Cmu%7D%29%20%5Ccdot%20%5Cbar%7Be%7D%7Bj%7D%5Cright%7C%5E%7B2%7D%7D%7B%5Clambda%7Bj%7D%7D%0A)

  值得注意的是，对异常得分的大部分贡献是由 值较小的主成分的偏差提供的，这一点上文中有提及过。主成分分析比因变量回归能更稳定地处理少数异常值的存在。这是因为主成分分析是根据最优超平面来计算误差的，而不是一个特定的变量。当数据中加入更多的离群点时，最优超平面的变化通常不会大到影响离群点的选择。因此，这种方法更有可能选择正确的异常值，因为回归模型一开始就更准确。

4.2 归一化问题

  当不同维度的尺度差别较大时，使用 有时并不能得到直观有效的结果。例如，考虑一个包含年龄和工资等属性的人口统计数据集。工资属性的范围可能是几万，而年龄属性几乎总是小于100，使用主成分分析会导致主成分被高方差属性所控制。对于一个只包含年龄和工资的二维数据集，最大的特征向量几乎与工资轴平行，这会降低异常点检测过程的有效性。因此，一个自然的解决方案是对数据进行均值为0方差为1的标准化处理。这隐含地导致在主成分分析中使用相关矩阵而不是协方差矩阵。当然，这个问题并不是线性建模所独有的，对于大多数异常检测算法，都需要使用这样的预处理。

5、回归分析的局限性

  回归分析作为检测离群值的工具有一些局限性。这些缺点中最重要的是在本章的一开始就讨论了，其中探讨了回归分析的数据特定性质。特别是，为了使回归分析技术有效，数据需要高度相关，并沿着低维子空间对齐。当数据不相关，但在某些区域高度聚集时，这种方法可能不会有效。

  另一个相关的问题是，数据中的相关性在本质上可能不是全局性的。最近的一些分析观察[1]表明，子空间相关性是特定于数据的特定位置的。在这种情况下，由主成分分析发现的全局子空间对于异常检测是次优的。因此，为了创建更一般的局部子空间模型，有时将线性模型与邻近模型(在后续章节中讨论)结合起来是有用的。这将是高维和子空间异常检测的主题，将在后续章节详细讨论。

6、总结

  真实数据中，数据不同属性之间往往具有显著的相关性。在这种情况下，线性建模可以提供一种有效的工具来从底层数据中移除异常值或者进行异常检测。对于其他基于因变量回归的应用，线性建模是一种工具，去除异常值对于提高此类应用的性能是非常重要的。在大多数情况下，主成分分析提供了去除异常值和进行异常检测最有效的方法，因为它对存在少数异常值的数据更有鲁棒性。

7、资料

数据集

8、练习

1.使用pyod库生成example并使用该库的pca模块进行检测

参考文献

[1]:Outlier Analysis Charu C. Aggarwal

[2]:Anomaly Detection: A Survey VARUN CHANDOLA, ARINDAM BANERJEE, and VIPIN KUMAR University of Minnesota

[3]:Outlier Analysis Charu C. Aggarwal

[4]:Anomaly Detection: A Tutorial

[5]:Data Mining Concepts and Techniques Third Edition

关于Datawhale：

Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。