主要任务

从Kafka 读取订单预处理表数据,筛选下单明细数据,写入Kafka 对应主题。

思路分析

实现步骤

(1)从 Kafka dwd_trade_order_pre_process 主题读取订单预处理数据;

(2)筛选下单明细数据:新增数据,即订单表操作类型为insert 的数据即为订单明细数据;

(3)写入Kafka 下单明细主题。

图解

实时数仓(十七)DWD层-交易域下单事务事实表 - 图1

代码

主程序


https://gitee.com/luan_hao/gmall-flink/blob/master/gmall-realtime/src/main/java/com/apache/gmall/app/dwd/db/DwdTradeOrderDetail.java

测试数据

创建dwd_trade_order_detail 主题

  1. bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --create --replication-factor 1 --partitions 1 --topic dwd_trade_order_detail
消费 dwd_trade_order_detail 主题
  1. bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic dwd_trade_order_detail

启动 DwdTradeOrderPreProcess DwdTradeOrderDetail

设置一下配置文件,将重置设置为1

实时数仓(十七)DWD层-交易域下单事务事实表 - 图2

开始启动

实时数仓(十七)DWD层-交易域下单事务事实表 - 图3

观察消费者数据

实时数仓(十七)DWD层-交易域下单事务事实表 - 图4

有如上图数据,则测试成功