1、拉取数据流程图

image.png

2、Parser设计

image.png
整个parser过程大致可分为以下几步：

  • Connection获取上一次解析成功的log position（如果是第一次启动，则获取初始指定的位置或者是当前数据库的binlog log position）Connection建立连接
  • 向MySQL master发送BINLOG_DUMP请求MySQL开始推送binary Log
  • 接收到的binary Log通过BinlogParser进行协议解析，补充一些特定信息。如补充字段名字、字段类型、主键信息、unsigned类型处理等
  • 将解析后的数据传入到EventSink组件进行数据存储（这是一个阻塞操作，直到存储成功）
  • 定时记录binary Log位置，以便重启后继续进行增量订阅如果需要同步的master宕机，可以从它的其他slave节点继续同步binlog日志，避免单点故障