Java 类名:com.alibaba.alink.operator.batch.outlier.BoxPlotOutlierBatchOp
Python 类名:BoxPlotOutlierBatchOp

功能介绍

  • BoxPlot算法又叫做箱线图算法, 是一种常用的异常检测算法.
  • 它由五个数值点组成:最小值(min),下四分位数(Q1),中位数(median),上四分位数(Q3),最大值(max),大于Q3 + K IQR和小于Q1 - K IQR的点定义为异常值(Outlier)。
  • k通常取值为1.5或者3.

    参数说明

    | 名称 | 中文名称 | 描述 | 类型 | 是否必须? | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- | | predictionCol | 预测结果列名 | 预测结果列名 | String | ✓ | | | | direction | Not available! | Not available! | String | | “POSITIVE”, “NEGATIVE”, “BOTH” | “BOTH” | | featureCol | 特征列名 | 特征列名,默认选最左边的列 | String | | 所选列类型为 [BIGDECIMAL, BIGINTEGER, BYTE, DOUBLE, FLOAT, INTEGER, LONG, SHORT] | null | | groupCols | 分组列名数组 | 分组列名,多列,可选,默认不选 | String[] | | | null | | maxOutlierNumPerGroup | 每组最大异常点数目 | 每组最大异常点数目 | Integer | | | | | maxOutlierRatio | 最大异常点比例 | 算法检测异常点的最大比例 | Double | | | | | maxSampleNumPerGroup | 每组最大样本数目 | 每组最大样本数目 | Integer | | | | | outlierThreshold | 异常评分阈值 | 只有评分大于该阈值才会被认为是异常点 | Double | | | | | predictionDetailCol | 预测详细信息列名 | 预测详细信息列名 | String | | | | | numThreads | 组件多线程线程个数 | 组件多线程线程个数 | Integer | | | 1 |

代码示例

Python 代码

  1. from pyalink.alink import *
  2. import pandas as pd
  3. useLocalEnv(1)
  4. import pandas as pd
  5. df = pd.DataFrame([
  6. [0.73, 0],
  7. [0.24, 0],
  8. [0.63, 0],
  9. [0.55, 0],
  10. [0.73, 0],
  11. [0.41, 0]
  12. ])
  13. dataOp = BatchOperator.fromDataframe(df, schemaStr='val double, label int')
  14. outlierOp = BoxPlotOutlierBatchOp()\
  15. .setFeatureCol("val")\
  16. .setOutlierThreshold(3.0)\
  17. .setPredictionCol("pred")\
  18. .setPredictionDetailCol("pred_detail")
  19. evalOp = EvalOutlierBatchOp()\
  20. .setLabelCol("label")\
  21. .setPredictionDetailCol("pred_detail")\
  22. .setOutlierValueStrings(["1"]);
  23. metrics = dataOp\
  24. .link(outlierOp)\
  25. .link(evalOp)\
  26. .collectMetrics()
  27. print(metrics)

Java 代码

  1. package com.alibaba.alink.operator.batch.outlier;
  2. import com.alibaba.alink.operator.batch.BatchOperator;
  3. import com.alibaba.alink.operator.batch.evaluation.EvalOutlierBatchOp;
  4. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  5. import com.alibaba.alink.operator.common.evaluation.OutlierMetrics;
  6. import com.alibaba.alink.testutil.AlinkTestBase;
  7. import org.junit.Assert;
  8. import org.junit.Test;
  9. public class BoxPlotOutlierBatchOpTest extends AlinkTestBase {
  10. @Test
  11. public void test() throws Exception {
  12. BatchOperator <?> data = new MemSourceBatchOp(
  13. new Object[][] {
  14. {0.73, 0},
  15. {0.24, 0},
  16. {0.63, 0},
  17. {0.55, 0},
  18. {0.73, 0},
  19. {0.41, 0},
  20. },
  21. new String[]{"val", "label"});
  22. BatchOperator <?> outlier = new BoxPlotOutlierBatchOp()
  23. .setFeatureCol("val")
  24. .setOutlierThreshold(3.0)
  25. .setPredictionCol("pred")
  26. .setPredictionDetailCol("pred_detail");
  27. EvalOutlierBatchOp eval = new EvalOutlierBatchOp()
  28. .setLabelCol("label")
  29. .setPredictionDetailCol("pred_detail")
  30. .setOutlierValueStrings("1");
  31. OutlierMetrics metrics = data
  32. .link(outlier)
  33. .link(eval)
  34. .collectMetrics();
  35. Assert.assertEquals(1.0, metrics.getAccuracy(), 10e-6);
  36. }
  37. }

运行结果

BoxPlot异常检测 (BoxPlotOutlierBatchOp) - 图1