Java 类名：com.alibaba.alink.operator.stream.feature.HashCrossFeatureStreamOp
Python 类名：HashCrossFeatureStreamOp

功能介绍

将选定的离散列组合成单列的向量类型的数据。

算法原理

将选定列的数据的字符串形式以逗号为分隔符拼接起来，然后使用 murmur3_32 函数得到哈希值，并将哈希值通过平移的方式转换至
[0, 特征数)之间。

使用方式

使用需要设置选取列的列名（selectCols）和输出列名（outputCol），特征数通过参数 numFeatures 设置，特征数也是
输出列中向量的长度。

| 名称 | 中文名称 | 描述 | 类型 | 是否必须？ | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| outputCol | 输出结果列列名 | 输出结果列列名，必选 | String | ✓ | | |

| selectedCols | 选择的列名 | 计算列对应的列名列表 | String[] | ✓ | | |

| numFeatures | 向量维度 | 生成向量长度 | Integer | | | 262144 |

| reservedCols | 算法保留列名 | 算法保留列 | String[] | | | null |

代码示例

Python 代码

  1. from pyalink.alink import *
  3. import pandas as pd
  5. useLocalEnv(1)
  7. df = pd.DataFrame([
  8.     ["1.0", "1.0", 1.0, 1],
  9.     ["1.0", "1.0", 0.0, 1],
  10.     ["1.0", "0.0", 1.0, 1],
  11.     ["1.0", "0.0", 1.0, 1],
  12.     ["2.0", "3.0", None, 0],
  13.     ["2.0", "3.0", 1.0, 0],
  14.     ["0.0", "1.0", 2.0, 0],
  15.     ["0.0", "1.0", 1.0, 0]])
  16. data = StreamOperator.fromDataframe(df, schemaStr="f0 string, f1 string, f2 double, label bigint")
  17. cross = HashCrossFeatureStreamOp().setSelectedCols(['f0', 'f1', 'f2']).setOutputCol('cross').setNumFeatures(4)
  18. cross.linkFrom(data).print()
  19. StreamOperator.execute()

Java 代码

  1. import org.apache.flink.types.Row;
  3. import com.alibaba.alink.operator.batch.BatchOperator;
  4. import com.alibaba.alink.operator.batch.feature.HashCrossFeatureBatchOp;
  5. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  6. import org.junit.Test;
  8. import java.util.Arrays;
  9. import java.util.List;
  11. public class HashCrossFeatureStreamOpTest {
  12.     @Test
  13.     public void testHashCrossFeatureStreamOp() throws Exception {
  14.         List <Row> df = Arrays.asList(
  15.             Row.of("1.0", "1.0", 1.0, 1),
  16.             Row.of("1.0", "1.0", 0.0, 1),
  17.             Row.of("1.0", "0.0", 1.0, 1),
  18.             Row.of("1.0", "0.0", 1.0, 1),
  19.             Row.of("2.0", "3.0", null, 0),
  20.             Row.of("2.0", "3.0", 1.0, 0),
  21.             Row.of("0.0", "1.0", 2.0, 0)
  22.         );
  23.         StreamOperator<?> data = new MemSourceStreamOp(df, "f0 string, f1 string, f2 double, label int");
  24.         StreamOperator <?> cross = new HashCrossFeatureStreamOp().setSelectedCols("f0", "f1", "f2").setOutputCol("cross")
  25.             .setNumFeatures(4);
  26.         cross.linkFrom(data).print();
  27.         StreamOperator.execute();
  28.     }
  29. }

脚本运行结果

| f0 | f1 | f2 | label | cross | | —- | —- | —- | —- | —- |

| 2.0 | 3.0 | null | 0 | |

| 1.0 | 0.0 | 1.0000 | 1 | $4$1:1.0 |

| 1.0 | 0.0 | 1.0000 | 1 | $4$1:1.0 |

| 0.0 | 1.0 | 2.0000 | 0 | $4$1:1.0 |

| 1.0 | 1.0 | 0.0000 | 1 | $4$1:1.0 |

| 1.0 | 1.0 | 1.0000 | 1 | $4$3:1.0 |

| 2.0 | 3.0 | 1.0000 | 0 | $4$0:1.0 |