\newcommand{\R}{\mathbb{R}} \newcommand{\E}{\mathbb{E}} \newcommand{\x}{\mathbf{x}} \newcommand{\y}{\mathbf{y}} \newcommand{\wv}{\mathbf{w}} \newcommand{\av}{\mathbf{\alpha}} \newcommand{\bv}{\mathbf{b}} \newcommand{\N}{\mathbb{N}} \newcommand{\id}{\mathbf{I}} \newcommand{\ind}{\mathbf{1}} \newcommand{\0}{\mathbf{0}} \newcommand{\unit}{\mathbf{e}} \newcommand{\one}{\mathbf{1}} \newcommand{\zero}{\mathbf{0}} \newcommand\rfrac[2]{^{#1}!/_{#2}} \newcommand{\norm}[1]{\left\lVert#1\right\rVert}

随机异常值选择

描述

异常值是一个或多个在数量上偏离大多数数据集的观测值，可能是进一步研究的主题。由Jeroen Janssens[1]开发的随机离群点选择(SOS)是一种将一组向量作为输入的无监督随机异常值选择算法。该算法采用基于相似性的离群点选择，并对每个数据点输出一个离群点概率。直观地说，当其他数据点与某个数据点没有足够的关联性时，该数据点就被认为是一个异常值。

异常值检测在许多领域都有应用，例如，日志分析，欺诈检测，噪声消除，新颖性检测，质量控制，传感器监控等。如果传感器出现故障，大概率会输出偏离的值。

有关更多信息，请参阅Jeroens Janssens博士论文关于异常值选择和单类分类的介绍算法。

参数

随机异常值选择算法的实现可以通过以下参数控制:

参数 描述
Perplexity Perplexity可以解释为k-最近邻算法中的k。 与SOS作为邻居的区别不是二元属性，而是概率属性，因此它是实数。 必须介于1和n-1之间，其中n是点数。 通过使用观察数量的平方根可以获得良好的起点. (默认值: 30)
ErrorTolerance 可接受的误差容限，以在近似亲和力时减少计算时间。 它会牺牲精度以换取减少的计算时间. (默认值: 1e-20)
MaxIterations 用于近似算法亲和度的最大迭代次数。(默认值: 10)

例子

  1. val data = env.fromCollection(List(
  2.   LabeledVector(0.0, DenseVector(1.0, 1.0)),
  3.   LabeledVector(1.0, DenseVector(2.0, 1.0)),
  4.   LabeledVector(2.0, DenseVector(1.0, 2.0)),
  5.   LabeledVector(3.0, DenseVector(2.0, 2.0)),
  6.   LabeledVector(4.0, DenseVector(5.0, 8.0)) // The outlier! ))
  8. val sos = new StochasticOutlierSelection().setPerplexity(3)
  10. val outputVector = sos
  11.   .transform(data)
  12.   .collect()
  14. val expectedOutputVector = Map(
  15.   0 -> 0.2790094479202896,
  16.   1 -> 0.25775014551682535,
  17.   2 -> 0.22136130977995766,
  18.   3 -> 0.12707053787018444,
  19.   4 -> 0.9922779902453757 // The outlier! )
  21. outputVector.foreach(output => expectedOutputVector(output._1) should be(output._2))

参考

[1]J.H.M. Janssens, F. Huszar, E.O. Postma, and H.J. van den Herik. Stochastic Outlier Selection. Technical Report TiCC TR 2012-001, Tilburg University, Tilburg, the Netherlands, 2012.