Java 类名:com.alibaba.alink.operator.batch.dataproc.vector.VectorImputerTrainBatchOp
Python 类名:VectorImputerTrainBatchOp

功能介绍

训练Vecotor 缺失值填充模型的组件,输出模型。
填充策略包含最大值,最小值,均值和指定数值4种。

参数说明

名称 中文名称 描述 类型 是否必须? 取值范围 默认值
selectedCol 选中的列名 计算列对应的列名 String 所选列类型为 [DENSE_VECTOR, SPARSE_VECTOR, STRING, VECTOR]
fillValue 填充缺失值 自定义的填充值。当strategy为value时,读取fillValue的值 Double null
strategy 缺失值填充规则 缺失值填充的规则,支持mean,max,min或者value。选择value时,需要读取fillValue的值 String “MEAN”, “MIN”, “MAX”, “VALUE” “MEAN”

代码示例

Python 代码

  1. from pyalink.alink import *
  2. import pandas as pd
  3. useLocalEnv(1)
  4. df = pd.DataFrame([
  5. ["1:3,2:4,4:7", 1],
  6. ["1:3,2:NaN", 3],
  7. ["2:4,4:5", 4]
  8. ])
  9. data = BatchOperator.fromDataframe(df, schemaStr="vec string, id bigint")
  10. vecFill = VectorImputerTrainBatchOp().setSelectedCol("vec")
  11. model = data.link(vecFill)
  12. VectorImputerPredictBatchOp().setOutputCol("vec1").linkFrom(model, data).print()

Java 代码

  1. import org.apache.flink.types.Row;
  2. import com.alibaba.alink.operator.batch.BatchOperator;
  3. import com.alibaba.alink.operator.batch.dataproc.vector.VectorImputerPredictBatchOp;
  4. import com.alibaba.alink.operator.batch.dataproc.vector.VectorImputerTrainBatchOp;
  5. import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
  6. import org.junit.Test;
  7. import java.util.Arrays;
  8. import java.util.List;
  9. public class VectorImputerTrainBatchOpTest {
  10. @Test
  11. public void testVectorImputerTrainBatchOp() throws Exception {
  12. List <Row> df = Arrays.asList(
  13. Row.of("1:3,2:4,4:7", 1),
  14. Row.of("1:3,2:NaN", 3),
  15. Row.of("2:4,4:5", 4)
  16. );
  17. BatchOperator <?> data = new MemSourceBatchOp(df, "vec string, id int");
  18. BatchOperator <?> vecFill = new VectorImputerTrainBatchOp().setSelectedCol("vec");
  19. BatchOperator <?> model = data.link(vecFill);
  20. new VectorImputerPredictBatchOp().setOutputCol("vec1").linkFrom(model, data).print();
  21. }
  22. }

运行结果

| vec | id | vec1 | | —- | —- | —- |

| 1:3,2:4,4:7 | 1 | 1:3.0 2:4.0 4:7.0 |

| 1:3,2:NaN | 3 | 1:3.0 2:4.0 |

| 2:4,4:5 | 4 | 2:4.0 4:5.0 |