来源: 01-19 如果你们业务库的表有更新,你们数仓怎么处理的?

表更新,分为表结构更新和表数据更新。

表结构更改

  1. 从管理上控制 : 协商要求业务库的开发者更新表结构时需要同步信息给到数仓 , 数仓跟随更新 .
  2. 对用不到的新增信息 , 放弃跟随更新
  3. 从脚本上控制 : 抽数脚本中的sql不使用select * , 使用select 字段

    表数据更新

    数仓增量更新数据
    业务数据表有更新,看得到变更表结构的,比如说增加,删除字段的,其实就可以用扩展表
  • 优点不影响老业务数据
  • 扩展表只是扩展的数据部分。支持新业务的。扩展的数据用关联来获取。

这样可以把新老业务解耦合。另外业务层面更改表结构风险极大

表同步

同步前监控表的schema,与数仓的不一致就刹车,告警,
同步的时候把字段写死,防止加字段把任务搞崩,
都击穿了就任务报错的时候告警,进行处理。