Java 类名：com.alibaba.alink.operator.batch.dataproc.MultiStringIndexerPredictBatchOp
Python 类名：MultiStringIndexerPredictBatchOp

功能介绍

多列字符串转换组件，输入的模型数据来自 MultiStringIndexerTrainBatchOp 组件的输出，训练的时候指定多个列，每个列单独编码。
这个组件为批式预测组件，预测时需要指定列名，列名必须与训练时列名相同。如果转换时指定了训练时不存在的列名，会报异常。
支持按照一定的次序编码。如随机、出现频次生序，出现频次降序、字符串生序、字符串降序5种方式。
设置 setStringOrderType 参数时分别对应 random frequency_asc frequency_desc alphabet_asc alphabet_desc。

参数说明

名称 中文名称 描述 类型 是否必须？ 取值范围 默认值
selectedCols 选择的列名 计算列对应的列名列表 String[] ✓
handleInvalid 未知token处理策略 未知token处理策略。”keep”表示用最大id加1代替, “skip”表示补null， “error”表示抛异常 String “KEEP”, “ERROR”, “SKIP” “KEEP”
modelFilePath 模型的文件路径 模型的文件路径 String null
outputCols 输出结果列列名数组 输出结果列列名数组，可选，默认null String[] null
reservedCols 算法保留列名 算法保留列 String[] null
numThreads 组件多线程线程个数 组件多线程线程个数 Integer 1

代码示例

Python 代码

  1. from pyalink.alink import *
  3. import pandas as pd
  5. useLocalEnv(1)
  7. df = pd.DataFrame([
  8.     ["football", "apple"],
  9.     ["football", "banana"],
  10.     ["football", "banana"],
  11.     ["basketball", "orange"],
  12.     ["basketball", "grape"],
  13.     ["tennis", "grape"],
  14. ])
  16. data = BatchOperator.fromDataframe(df, schemaStr='f0 string,f1 string')
  18. stringindexer = MultiStringIndexerTrainBatchOp() \
  19.     .setSelectedCols(["f0", "f1"]) \
  20.     .setStringOrderType("frequency_asc")
  22. predictor = MultiStringIndexerPredictBatchOp().setSelectedCols(["f0", "f1"]).setOutputCols(["f0_indexed", "f1_indexed"])
  24. model = stringindexer.linkFrom(data)
  25. predictor.linkFrom(model, data).print()

Java 代码

  1. import org.apache.flink.types.Row;
  3. import com.alibaba.alink.operator.batch.BatchOperator;
  4. import com.alibaba.alink.operator.batch.dataproc.MultiStringIndexerPredictBatchOp;
  5. import com.alibaba.alink.operator.batch.dataproc.MultiStringIndexerTrainBatchOp;
  6. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  7. import org.junit.Test;
  9. import java.util.Arrays;
  10. import java.util.List;
  12. public class MultiStringIndexerPredictBatchOpTest {
  13.     @Test
  14.     public void testMultiStringIndexerPredictBatchOp() throws Exception {
  15.         List <Row> df = Arrays.asList(
  16.             Row.of("football", "apple"),
  17.             Row.of("football", "banana"),
  18.             Row.of("football", "banana"),
  19.             Row.of("basketball", "orange"),
  20.             Row.of("basketball", "grape"),
  21.             Row.of("tennis", "grape")
  22.         );
  23.         BatchOperator <?> data = new MemSourceBatchOp(df, "f0 string,f1 string");
  24.         BatchOperator <?> stringindexer = new MultiStringIndexerTrainBatchOp()
  25.             .setSelectedCols("f0", "f1")
  26.             .setStringOrderType("frequency_asc");
  27.         BatchOperator <?> predictor = new MultiStringIndexerPredictBatchOp().setSelectedCols("f0", "f1").setOutputCols(
  28.             "f0_indexed", "f1_indexed");
  29.         BatchOperator model = stringindexer.linkFrom(data);
  30.         predictor.linkFrom(model, data).print();
  31.     }
  32. }

运行结果

| f0 | f1 | f0_indexed | f1_indexed | | —- | —- | —- | —- |

| basketball | orange | 1 | 0 |

| football | apple | 2 | 1 |

| tennis | grape | 0 | 3 |

| football | banana | 2 | 2 |

| basketball | grape | 1 | 3 |

| football | banana | 2 | 2 |