位点位置

日常的使用中,当使用 ZooKeeper 作为高可用方案时,因某些原因需要重新采集数据,只要目标库中的 binlog 文件依旧存在,那么就能够将 Canal 的解析位置重新定位,从指定的位置开始解析。
canal instance的配置文件修改无效果,因为zookeeper已经记录binlog日志位置,修改为新的也不会生效,需要在zookeeper配置中修改或者删除重新生成

:::info 没有用zk的话
重启后是从上一次的读取位点开始,该binlog位置信息存放于conf//meta.dat文件中。文件内容类似:
{“clientDatas”:[{“clientIdentity”:{“clientId”:1001,”destination”:”example_db”,”filter”:””},”cursor”:{“identity”:{“slaveId”:-1,”sourceAddress”:{“address”:”127.0.0.1”,”port”:3306}},”postion”:{“included”:false,”journalName”:”mysql-bin.000032”,”position”:18169170,”serverId”:1,”timestamp”:1497426548000}}}],”destination”:”trc_account_db”}
其中binlog位置字段 为position :::

canal 默认在 ZooKeeper 中存储的节点为:

  1. /otter/canal

停止canal服务

在有数据被消费时,客户端的每次 Ack 都会使得服务端用本地缓存的位点信息去覆盖 ZooKeeper 上的位点,所以在修改 ZooKeeper 的位点之前,应先避免其不再被覆盖,即停止 Canal 服务。(停止对应的instance,无需停止整个canal服务)

可停止该 instance 对应的消费端程序,则不会再触发服务端使用缓存中的位点信息去覆盖 ZooKeeper 中的信息。

获取位点信息

停止服务后,可通过 zkCli.sh、ZooInspector、zkui 等工具连接到相应的 ZooKeeper 服务器上,并获取到当前的位点信息。
默认情况下,位点信息存储在下述节点中:

  1. /otter/canal/destinations/${destination}/1001/cursor

注意:请将 ${destination} 替换成预期的 instance 名称。
若 ZooKeeper 中并无 …/1001/cursor 节点,则表明该 instance 从未被消费过,可通过启动一次对应的消费者,以生成该位点信息,但记得生成位点信息后要将其停止。
本文仅以 zkCli.sh (交互模式)方式示例如何获取名为 “example” 的 instance 的位点信息:

  1. # cd /data/zookeeper/bin
  2. # sh zkCli.sh
  3. [zk: localhost:2181(CONNECTED) 0] ll (可使用的命令)
  4. ZooKeeper -server host:port cmd args
  5. stat path [watch]
  6. set path data [version]
  7. ls path [watch]
  8. delquota [-n|-b] path
  9. ls2 path [watch]
  10. setAcl path acl
  11. setquota -n|-b val path
  12. history
  13. redo cmdno
  14. printwatches on|off
  15. delete path [version]
  16. sync path
  17. listquota path
  18. rmr path
  19. get path [watch]
  20. create [-s] [-e] path data acl
  21. addauth scheme auth
  22. quit
  23. getAcl path
  24. close
  25. connect host:port
  26. [zk: localhost:2181(CONNECTED) 4] get /otter/canal/destinations/example/1001/cursor (获取位点信息)
  27. {"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mysql-bin.069317","position":5963960,"serverId":833045285,"timestamp":1629962234000}}

从上述的结果可看出,位点信息是用 json 格式的字符串进行存储的,里面存放了许多信息,我们仅需要变更“journalName”和“position”两个属性值,分别对应当前的 binlog 文件名以及该文件内的具体位置。

查询数据位点

我们既然已经确定了变更位点需要哪些信息,那么又如何获得预期的位点信息呢?这就需要视需求而定了,其实,一般来变更位点都是往当前位置的前面调整,再次采集已同步过的数据。本文仅给出如何在 MySQL 中通过 SQL 语句查询 binlog 的位点信息示例:

1.查询 binlog 文件
  1. # show binary logs (此处的输出结果仅为 binlog 文件名称和大小)

2.binlog 事件

binary log,顾名思义就是二进制日志文件,里面存放的信息无法直接被展示出来,但我们可以通过 MySQL 的 SQL 语句将其解析成对应的事件,通过判断事件来找出对应的位点信息。
用于查询 binlog 事件的 SQL 语法如下:

  1. # show binlog events [in 'binlog_name'] [from pos] [limit [offset,] row_count]

在查询 binlog 事件时,强烈建议尽可能多地增加限制结果集大小的条件,以降低对 MySQL 的性能损耗,这就是有1. 查询 binlog 文件步骤的原因,为此步骤提供信息。
下述示例表示列出名为“mysql-bin.000008”的文件内从第 4 个位点开始往后的 5 条记录。

  1. show binlog events in 'mysql-bin.000008' from 4 limit 5

当前仅能通过判断具体的事件,来确定对应的位点值(Pos)。

变更位点信息

1.变更

假设我们需要的目标位点信息是:名为 mysql-bin.000008 的日志文件内位点值为 4。那么通过 zkCli.sh 的 set 方法进行变更,示例如下:

  1. set /otter/canal/destinations/example/1001/cursor {"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mysql-bin.000008","position":4,"serverId":1,"timestamp":1590112037000}}

注意:节点名与节点值之间使用一个半角空格进行分隔。

2.删除

或者直接删除掉旧位点信息(如删除掉旧位点信息,需要去instance配置新的位点)

  1. [zk: localhost:2181(CONNECTED) 5] delete /otter/canal/destinations/example/1001/cursor
  1. canal.instance.master.journal.name=mysql-bin.070764
  2. canal.instance.master.position=120

启动canal服务

启动 Canal 服务端,以使新的位点生效。
如果之前通过停止消费端的方式来消除位点被覆盖,那么此时就需要通过重启 Canal 服务端将 ZooKeeper 上新的位点信息去覆盖 Canal 服务端缓存中的信息。