同步策略

数据同步策略的类型包括:全量同步、增量同步、新增及变化同步、特殊情况

  • 全量表:存储完整的数据。
  • 增量表:存储新增加的数据。
  • 新增及变化表:存储新增加的数据和变化的数据。
  • 特殊表:只需要存储一次

    全量同步策略

    image.png

    增量同步策略

    image.png

    新增及变化策略

    image.png

    特殊策略

    某些特殊的维度表,可不必遵循上述同步策略

  • 客观世界维度

没变化的客观世界的维度(比如性别,地区,民族,政治成分,鞋子尺码)可以只存一份固定值。

  • 日期维度

日期维度可以一次性导入一年或若干年的数据。

分析表同步策略

在生产环境,个别小公司,为了简单处理,所有表全量导入。
中大型公司,由于数据量比较大,还是严格按照同步策略导入数据。
image.png