Java 类名:com.alibaba.alink.operator.batch.classification.NaiveBayesTextTrainBatchOp
Python 类名:NaiveBayesTextTrainBatchOp

功能介绍

训练一个朴素贝叶斯文本分类模型用于多分类任务。

算法原理

朴素贝叶斯算法基于贝叶斯定理和一个”朴素”的假设:各特征间两两条件独立。
通过贝叶斯定理可以在给定特征时计算类别为的概率:,而通过特征间两两独立的假设可以将上面公式简化为:。
在朴素贝叶斯用于文本分类时,文本中的词语(token)对应一个特征。 类别的概率可以估算为 ,其中 是类别为的总文本数,的总文本数。
词语在类别所包含的文本出现的频次用 表示,那么可以用于估算概率 。
与一般的朴素贝叶斯分类模型类似,可以添加平滑系数来解决 为 0 时的问题。
上面描述的是多项分布时的模型,即 可以去大于1的值。如果考虑的是二项分布,那么只能取值0或者1。

使用方式

该组件是训练组件,需要配合预测组件 NaiveBayesTextPredictBatch/StreamOp 使用。
为了训练朴素贝叶斯模型,需要指定参数向量列名(vectorCol)和标签列名(labelCol)。 通过参数模型类型可以设置使用多项分布或者二项分布。 平滑因子可以通过参数 smoothing 指定,默认为不平滑。
组件还支持设置每条样本的权重,通过参数权重列(weightCol)指定。

文献索引

Naive Bayes text
classification: https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

参数说明

| 名称 | 中文名称 | 描述 | 类型 | 是否必须? | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| labelCol | 标签列名 | 输入表中的标签列名 | String | ✓ | | |

| vectorCol | 向量列名 | 向量列对应的列名 | String | ✓ | 所选列类型为 [DENSE_VECTOR, SPARSE_VECTOR, STRING, VECTOR] | |

| modelType | 模型类型 | 取值为 Multinomial 或 Bernoulli | String | | “Multinomial”, “Bernoulli” | “Multinomial” |

| smoothing | 算法参数 | 光滑因子,默认为1.0 | Double | | [0.0, +inf) | 1.0 |

| weightCol | 权重列名 | 权重列对应的列名 | String | | 所选列类型为 [BIGDECIMAL, BIGINTEGER, BYTE, DOUBLE, FLOAT, INTEGER, LONG, SHORT] | null |

代码示例

Python 代码

  1. from pyalink.alink import *
  2. import pandas as pd
  3. useLocalEnv(1)
  4. df_data = pd.DataFrame([
  5. ["$31$0:1.0 1:1.0 2:1.0 30:1.0","1.0 1.0 1.0 1.0", '1'],
  6. ["$31$0:1.0 1:1.0 2:0.0 30:1.0","1.0 1.0 0.0 1.0", '1'],
  7. ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0 0.0 1.0 1.0", '1'],
  8. ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0 0.0 1.0 1.0", '1'],
  9. ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0 1.0 1.0 0.0", '0'],
  10. ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0 1.0 1.0 0.0", '0'],
  11. ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0 1.0 1.0 0.0", '0']
  12. ])
  13. batchData = BatchOperator.fromDataframe(df_data, schemaStr='sv string, dv string, label string')
  14. # train op
  15. ns = NaiveBayesTextTrainBatchOp().setVectorCol("sv").setLabelCol("label")
  16. model = batchData.link(ns)
  17. # predict op
  18. predictor = NaiveBayesTextPredictBatchOp().setVectorCol("sv").setReservedCols(["sv", "label"]).setPredictionCol("pred")
  19. predictor.linkFrom(model, batchData).print()

Java 代码

  1. import org.apache.flink.types.Row;
  2. import com.alibaba.alink.operator.batch.BatchOperator;
  3. import com.alibaba.alink.operator.batch.classification.NaiveBayesTextPredictBatchOp;
  4. import com.alibaba.alink.operator.batch.classification.NaiveBayesTextTrainBatchOp;
  5. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  6. import org.junit.Test;
  7. import java.util.Arrays;
  8. import java.util.List;
  9. public class NaiveBayesTextTrainBatchOpTest {
  10. @Test
  11. public void testNaiveBayesTextTrainBatchOp() throws Exception {
  12. List <Row> df_data = Arrays.asList(
  13. Row.of("$31$0:1.0 1:1.0 2:1.0 30:1.0", "1.0 1.0 1.0 1.0", "1"),
  14. Row.of("$31$0:1.0 1:1.0 2:0.0 30:1.0", "1.0 1.0 0.0 1.0", "1"),
  15. Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0 0.0 1.0 1.0", "1"),
  16. Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0 0.0 1.0 1.0", "1"),
  17. Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0 1.0 1.0 0.0", "0"),
  18. Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0 1.0 1.0 0.0", "0"),
  19. Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0 1.0 1.0 0.0", "0")
  20. );
  21. BatchOperator <?> batchData = new MemSourceBatchOp(df_data, "sv string, dv string, label string");
  22. BatchOperator <?> ns = new NaiveBayesTextTrainBatchOp().setVectorCol("sv").setLabelCol("label");
  23. BatchOperator model = batchData.link(ns);
  24. BatchOperator <?> predictor = new NaiveBayesTextPredictBatchOp().setVectorCol("sv").setReservedCols("sv",
  25. "label").setPredictionCol("pred");
  26. predictor.linkFrom(model, batchData).print();
  27. }
  28. }

运行结果

| sv | label | pred | | —- | —- | —- |

| “$31$0:1.0 1:1.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:1.0 2:0.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |