Java 类名:com.alibaba.alink.operator.batch.feature.MultiHotTrainBatchOp
Python 类名:MultiHotTrainBatchOp

功能介绍

multi-hot编码,也称多热编码,是与独热编码相对应的一种编码方式。该编码对每一个字符串特征列按照指定分隔符进行分割,分割得到的值存在m个可能值,那么经过多热编码后就变成了m个二元特征。对每一字段编码将会把该字段分割后的每一个值映射到唯一的编码。 因此,编码后的数据会变成稀疏数据,输出结果也是kv的稀疏结构。

编码结果

输入

| col_0 | col_1 | | —- | —- |

| “a b” | “1 2” |

| “b c” | “1 3” |

| “c d” | “1 4” |

| “a d” | “3 2” |

| “d e” | null |

| NULL | “2 3” |

Encode ——> VECTOR

预测结果为稀疏向量:

  1. 向量中非零元个数必定为1, 只能是一个稀疏向量$5$0:1.0 4:1.0或者NULL
Encode ——> ASSEMBLED_VECTOR
  1. 预测结果为稀疏向量,是预测选择列中,各列预测为VECTOR时,按照选择顺序ASSEMBLE的结果。

向量维度

Encode ——> Vector
  1. distinct token Number: 训练集中指定列的去重后的token数目
  2. enableElse: 训练时若填写discreteThresholdsdiscreteThresholdsArray则为true,默认为false
  3. handleInvalid: 预测参数
举例

输入列为col_0

  1. 1. 如果没有填写discreteThresholds,那么enableElsefalsedistinct token Number为(a,b,c,d,e)一共5token
  2. 1.1.1 handleInvalidkeep: vectorSize=(5 + 0 + 1 = 6)
  3. 1.2.2 handleInvalidskip: vectorSize=(5 + 0 + 0 = 5)
  4. 1.2.3 handleInvaliderror: vectorSize=(5 + 0 + 0 = 5)
  5. 2. 如果discreteThresholds2, 那么enableElsetrue, distinct token Number为(a,b,c,d,e)一共5token
  6. 1.1.1 handleInvalidkeep: vectorSize=(5 + 1 + 1 = 7)
  7. 1.2.2 handleInvalidskip: vectorSize=(5 + 1 + 0 = 6)
  8. 1.2.3 handleInvaliderror: vectorSize=(5 + 1 + 0 = 6)

Token index

Encode ——> Vector
  1. 1. 训练集中出现过的token: 预测值为模型中token对应的token_index
  2. 2. 训练集中未出现过的token:
  3. 3.1 enableElsetrue
  4. 3.1.1 handleInvalidkeep: 预测值为:distinct token Number + 1
  5. 3.1.2 handleInvalidskip: 预测值为:distinct token Number
  6. 3.1.3 handleInvaliderror: 预测值为:distinct token Number
  7. 3.2 enableElsefalse
  8. 3.2.1 handleInvalidkeep: 预测值为:distinct token Number
  9. 3.2.2 handleInvalidskip: index
  10. 3.2.3 handleInvaliderror: 报错
举例

输入列为col_0

  1. 如果没有填写discreteThresholds, 假设模型中a,b,c,d,e对应的token index为0,1,2,3,4

1.1 handleInvalid为keep

| col_0 | Encode为VECTOR的输出 | | —- | —- |

| “a b” | $6$0:1.0 1:1.0 |

| “b c” | $6$1:1.0 2:1.0 |

| “c d” | $6$3:1.0 3:1.0 |

| “a d” | $6$0:1.0 3:1.0 |

| “d e” | $6$0:3.0 4:1.0 |

| NULL | NULL |

1.2 handleInvalid为skip

| col_0 | Encode为VECTOR的输出 | | —- | —- |

| “a b” | $5$0:1.0 1:1.0 |

| “b c” | $5$1:1.0 2:1.0 |

| “c d” | $5$3:1.0 3:1.0 |

| “a d” | $5$0:1.0 3:1.0 |

| “d e” | $5$0:3.0 4:1.0 |

| NULL | NULL |

1.3 handleInvalid为error: 直接报错

参数说明

| 名称 | 中文名称 | 描述 | 类型 | 是否必须? | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| selectedCols | 选择的列名 | 计算列对应的列名列表 | String[] | ✓ | 所选列类型为 [STRING] | |

| delimiter | 分隔符 | 用来分割字符串 | String | | | “ “ |

| discreteThresholds | 离散个数阈值 | 离散个数阈值,低于该阈值的离散样本将不会单独成一个组别。 | Integer | | | -2147483648 |

| discreteThresholdsArray | 离散个数阈值 | 离散个数阈值,每一列对应数组中一个元素。 | Integer[] | | | null |

代码示例

Python 代码

  1. from pyalink.alink import *
  2. import pandas as pd
  3. useLocalEnv(1)
  4. # load data
  5. df = pd.DataFrame([
  6. ["a b", 1],
  7. ["b c", 1],
  8. ["c d", 1],
  9. ["a d", 2],
  10. ["d e", 2],
  11. [None, 1]
  12. ])
  13. inOp = BatchOperator.fromDataframe(df, schemaStr='query string, weight long')
  14. # multi hot train
  15. multi_hot = MultiHotTrainBatchOp().setSelectedCols(["query"])
  16. model = inOp.link(multi_hot)
  17. model.print()
  18. # batch predict
  19. predictor = MultiHotPredictBatchOp().setSelectedCols(["query"]).setOutputCols(["output"])
  20. print(BatchOperator.collectToDataframe(predictor.linkFrom(model, inOp)))

Java 代码

  1. import org.apache.flink.types.Row;
  2. import com.alibaba.alink.operator.batch.BatchOperator;
  3. import com.alibaba.alink.operator.batch.feature.MultiHotPredictBatchOp;
  4. import com.alibaba.alink.operator.batch.feature.MultiHotTrainBatchOp;
  5. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  6. import org.junit.Test;
  7. import java.util.Arrays;
  8. import java.util.List;
  9. public class MultiHotTrainBatchOpTest {
  10. @Test
  11. public void testMultiHotTrainBatchOp() throws Exception {
  12. List <Row> df = Arrays.asList(
  13. Row.of("a b", 1),
  14. Row.of("b c", 1),
  15. Row.of("c d", 1),
  16. Row.of("a d", 2),
  17. Row.of("d e", 2),
  18. Row.of(null, 1)
  19. );
  20. BatchOperator <?> inOp = new MemSourceBatchOp(df, "query string, weight int");
  21. BatchOperator <?> multi_hot = new MultiHotTrainBatchOp().setSelectedCols("query");
  22. BatchOperator <?> model = inOp.link(multi_hot);
  23. model.print();
  24. BatchOperator <?> predictor = new MultiHotPredictBatchOp().setSelectedCols("query").setOutputCols("output");
  25. predictor.linkFrom(model, inOp).print();
  26. }
  27. }

运行结果

模型

| model_id | model_info | | —- | —- |

| 0 | {“delimiter”:”” “”} |

| 1048576 | [“query”,”a”,0,2] |

| 2097152 | [“query”,”b”,1,2] |

| 3145728 | [“query”,”c”,2,2] |

| 4194304 | [“query”,”d”,3,3] |

| 5242880 | [“query”,”e”,4,1] |

结果

| query | weight | output | | —- | —- | —- |

| a b | 1 | $6$0:1.0 1:1.0 |

| b c | 1 | $6$1:1.0 2:1.0 |

| c d | 1 | $6$2:1.0 3:1.0 |

| a d | 2 | $6$0:1.0 3:1.0 |

| d e | 2 | $6$3:1.0 4:1.0 |

| null | 1 | null |