一、获取表
- 添加处理器ListDatabaseTables
- 配置ListDatabaseTables
- 配置DBCPConnectionPool
二、利用ReplaceText将表名转换固定查询格式
- 添加ReplaceText处理器
- 配置ReplaceText
三、利用ExecuteSQL执行sql语句
- 添加ExecuteSQL处理器
- 配置ExecuteSQL处理器
这里ListDatabaseTables处理器以及配置DBCPConnectionPool,直接使用。
四、利用ConvertRecord进行读写转换。
- 添加ConvertRecord处理器
- 配置ConvertRecord处理器
- 配置AvroReader和CSVRecordSetWrite
AvroReader
CSVRecordSetWrite
五、更新输出文件名,以tablename为文件名
- 添加UpdateAttribute处理器
- 配置UpdateAttribute处理器
添加字段,设置更新输出文件名
六、测试环节直接利用PutFile保存在本地。保存在hdfs用puthdfs
- 添加PutFile处理器
- 配置PutFile处理器
七、测试
- 连接所有处理器
- 运行
- 结果
至此,成功读取。