主要任务
从Kafka 读取订单预处理表数据,筛选下单明细数据,写入Kafka 对应主题。
思路分析
实现步骤
(1)从 Kafka dwd_trade_order_pre_process 主题读取订单预处理数据;
(2)筛选下单明细数据:新增数据,即订单表操作类型为insert 的数据即为订单明细数据;
(3)写入Kafka 下单明细主题。
图解
代码
主程序
测试数据
创建dwd_trade_order_detail 主题
消费 dwd_trade_order_detail 主题
bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --create --replication-factor 1 --partitions 1 --topic dwd_trade_order_detail
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic dwd_trade_order_detail
启动 DwdTradeOrderPreProcess 与 DwdTradeOrderDetail 类
设置一下配置文件,将重置设置为1
开始启动
观察消费者数据
有如上图数据,则测试成功