image.png
    Lambda 架构:
    两个部分 - 全量处理 + 增量处理

    解决的问题:
    数据量大导致的计算延时高的问题,如图谱问题
    image.png

    具体过程:

    • 较大周期(如3h)计算全量数据,较小周期(如2min)计算增量数据,将“过期的全量”和增量进行组合得到当前的全量数据。
    • 好处是不用每次来新数据都重新计算一次全量了,相当于缓存
    • 不足是全量和增量计算时也达不到实时的要求
      • 但可以将结果存到数据库(如 Redis)中,用户可以实时的获得“有延时”的数据