Java 类名：com.alibaba.alink.operator.batch.classification.NaiveBayesTextTrainBatchOp
Python 类名：NaiveBayesTextTrainBatchOp

功能介绍

训练一个朴素贝叶斯文本分类模型用于多分类任务。

算法原理

朴素贝叶斯算法基于贝叶斯定理和一个”朴素”的假设：各特征间两两条件独立。
通过贝叶斯定理可以在给定特征时计算类别为的概率：，而通过特征间两两独立的假设可以将上面公式简化为：。
在朴素贝叶斯用于文本分类时，文本中的词语（token）对应一个特征。 类别的概率可以估算为 ，其中 是类别为的总文本数，的总文本数。
词语在类别所包含的文本出现的频次用 表示，那么可以用于估算概率 。
与一般的朴素贝叶斯分类模型类似，可以添加平滑系数来解决 为 0 时的问题。
上面描述的是多项分布时的模型，即 可以去大于1的值。如果考虑的是二项分布，那么只能取值0或者1。

使用方式

该组件是训练组件，需要配合预测组件 NaiveBayesTextPredictBatch/StreamOp 使用。
为了训练朴素贝叶斯模型，需要指定参数向量列名（vectorCol）和标签列名（labelCol）。 通过参数模型类型可以设置使用多项分布或者二项分布。 平滑因子可以通过参数 smoothing 指定，默认为不平滑。
组件还支持设置每条样本的权重，通过参数权重列（weightCol）指定。

文献索引

Naive Bayes text
classification: https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

参数说明

| 名称 | 中文名称 | 描述 | 类型 | 是否必须？ | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| labelCol | 标签列名 | 输入表中的标签列名 | String | ✓ | | |

| vectorCol | 向量列名 | 向量列对应的列名 | String | ✓ | 所选列类型为 [DENSE_VECTOR, SPARSE_VECTOR, STRING, VECTOR] | |

| modelType | 模型类型 | 取值为 Multinomial 或 Bernoulli | String | | “Multinomial”, “Bernoulli” | “Multinomial” |

| smoothing | 算法参数 | 光滑因子，默认为1.0 | Double | | [0.0, +inf) | 1.0 |

| weightCol | 权重列名 | 权重列对应的列名 | String | | 所选列类型为 [BIGDECIMAL, BIGINTEGER, BYTE, DOUBLE, FLOAT, INTEGER, LONG, SHORT] | null |

代码示例

Python 代码

  1. from pyalink.alink import *
  3. import pandas as pd
  5. useLocalEnv(1)
  7. df_data = pd.DataFrame([
  8.           ["$31$0:1.0 1:1.0 2:1.0 30:1.0","1.0  1.0  1.0  1.0", '1'],
  9.           ["$31$0:1.0 1:1.0 2:0.0 30:1.0","1.0  1.0  0.0  1.0", '1'],
  10.           ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0  0.0  1.0  1.0", '1'],
  11.           ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0  0.0  1.0  1.0", '1'],
  12.           ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0'],
  13.           ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0'],
  14.           ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0']
  15. ])
  17. batchData = BatchOperator.fromDataframe(df_data, schemaStr='sv string, dv string, label string')
  19. # train op
  20. ns = NaiveBayesTextTrainBatchOp().setVectorCol("sv").setLabelCol("label")
  21. model = batchData.link(ns)
  22. # predict op
  23. predictor = NaiveBayesTextPredictBatchOp().setVectorCol("sv").setReservedCols(["sv", "label"]).setPredictionCol("pred")
  24. predictor.linkFrom(model, batchData).print()

Java 代码

  1. import org.apache.flink.types.Row;
  3. import com.alibaba.alink.operator.batch.BatchOperator;
  4. import com.alibaba.alink.operator.batch.classification.NaiveBayesTextPredictBatchOp;
  5. import com.alibaba.alink.operator.batch.classification.NaiveBayesTextTrainBatchOp;
  6. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  7. import org.junit.Test;
  9. import java.util.Arrays;
  10. import java.util.List;
  12. public class NaiveBayesTextTrainBatchOpTest {
  13.     @Test
  14.     public void testNaiveBayesTextTrainBatchOp() throws Exception {
  15.         List <Row> df_data = Arrays.asList(
  16.             Row.of("$31$0:1.0 1:1.0 2:1.0 30:1.0", "1.0  1.0  1.0  1.0", "1"),
  17.             Row.of("$31$0:1.0 1:1.0 2:0.0 30:1.0", "1.0  1.0  0.0  1.0", "1"),
  18.             Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0  0.0  1.0  1.0", "1"),
  19.             Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0  0.0  1.0  1.0", "1"),
  20.             Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0"),
  21.             Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0"),
  22.             Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0")
  23.         );
  24.         BatchOperator <?> batchData = new MemSourceBatchOp(df_data, "sv string, dv string, label string");
  25.         BatchOperator <?> ns = new NaiveBayesTextTrainBatchOp().setVectorCol("sv").setLabelCol("label");
  26.         BatchOperator model = batchData.link(ns);
  27.         BatchOperator <?> predictor = new NaiveBayesTextPredictBatchOp().setVectorCol("sv").setReservedCols("sv",
  28.             "label").setPredictionCol("pred");
  29.         predictor.linkFrom(model, batchData).print();
  30.     }
  31. }

运行结果

| sv | label | pred | | —- | —- | —- |

| “$31$0:1.0 1:1.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:1.0 2:0.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |