TFRecordDataset文件读入 (TFRecordDatasetSourceStreamOp)

Java 类名：com.alibaba.alink.operator.stream.source.TFRecordDatasetSourceStreamOp
Python 类名：TFRecordDatasetSourceStreamOp

功能介绍

读取 TFRecordDataset 文件（TFRecordDataset 的介绍可以参考 TensorFlow 文档：https://www.tensorflow.org/tutorials/load_data/tfrecord ）。

使用说明

需要指定文件路径 filePath，可以是单个文件，也可以是包含多个 TFRecordDataset 的目录。
为了将读取的 TFRecord 转换为 Alink 中的格式，需要指定数据的 schemaStr。
由于 TFRecord 中 Feature 允许的数据类型仅有 float, int64, bytes，因此 schemaStr 填写的类型有一定的限制：

• FLOAT_TENSOR/DOUBLE_TENSOR：要求float特征；
• LONG_TENSOR/INT_TENSOR：要求int64特征；
• STRING_TENSOR：要求bytes特征；
• BYTE_TENSOR：要求bytes特征；
• DENSE_VECTOR：要求float特征；
• LONG/INT：要求int64特征，并且只使用第一个元素；
• FLOAT/DOUBLE：要求float特征，并且只使用第一个元素；
• STRING：要求bytes特征，并且只使用第一个元素；
• VARBINARY：要求bytes特征。

  参数说明

  | 名称 | 中文名称 | 描述 | 类型 | 是否必须？ | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| filePath | 文件路径 | 文件路径 | String | ✓ | | |

| schemaStr | Schema | Schema。格式为”colname coltype[, colname2, coltype2[, …]]”，例如”f0 string, f1 bigint, f2 double” | String | ✓ | | |

代码示例

Python 代码

schemaStr = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string"
source = TFRecordDatasetSourceStreamOp() \
    .setFilePath("https://alink-release.oss-cn-beijing.aliyuncs.com/data-files/iris.tfrecord") \
    .setSchemaStr(schemaStr)
source.print()
StreamOperator.execute()

Java 代码

import com.alibaba.alink.operator.stream.StreamOperator;
import com.alibaba.alink.operator.stream.source.TFRecordDatasetSourceStreamOp;
import org.junit.Test;
public class TFRecordDatasetSourceStreamOpTest {
    @Test
    public void testTFRecordDatasetSourceStreamOp() throws Exception {
        String schemaStr
            = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string";
        StreamOperator <?> source = new TFRecordDatasetSourceStreamOp()
            .setFilePath("https://alink-release.oss-cn-beijing.aliyuncs.com/data-files/iris.tfrecord")
            .setSchemaStr(schemaStr);
        source.print();
        StreamOperator.execute();
    }
}