Transformation

Transformation.png

PartitionTransformation

支持对上游DataStream中的数据进行分区,分区策略通过指定的StreamPartitioner决定,例如当用户执行DataStream.rebalance()方法时,就会创建StreamPartitioner实现类RebalancePartitioner实现上下游数据的路由操作。

UnionTransformation

用于对多个输入Transformation进行合并,最终将上游DataStream数据集中的数据合并为一个DataStream

SideOutputTransformation

用于根据OutputTag筛选上游DataStream中的数据并下发到下游的算子中继续处理

CoFeedbackTransformation

用于迭代计算中单输入反馈数据流节点的转换操作

FeedbackTransformation

用于迭代计算中双输入反馈数据流节点的转换操作

PhysicalTransformation

PhysicalTransformation.png

OneInputTransformation

单进单出的数据集转换操作,例如DataStream.map()转换。

TwoInputTransformation

双进单出的数据集转换操作,例如在DataStream与DataStream之间进行Join操作,且该转换操作中的Operator类型为TwoInputStreamOperator。

SinkTransformation

数据集输出操作,当用户调用DataStream.addSink()方法时,会同步创建SinkTransformation操作,将DataStream中的数据输出到外部系统中

SourceTransformation

数据集输入操作,调用DataStream.addSource()方法时,会创建SourceTransformation操作,用于从外部系统中读取数据并转换成DataStream数据集。

SplitTransformation

数据集切分操作,用于将DataStream数据集根据指定字段进行切分,调用DataStream.split()方法时会创建SplitTransformation