image.pngimage.pngimage.png

    Lambda架构缺点
    1.同样需求需要开发两套一样的代码
    2.集群资源使用增多
    3.离线结果和实时结果不一致
    4.批量计算T+1可能计算不完
    5.服务器存储大
    image.png

    1.kafka无法支持海量数据存储
    2.kafka无法支持高效的OLAP
    3.无法复用数据血缘管理体系
    4.kafka不支持update/upsert
    架构选择
    1.公司刚上大数据或者公司业务没有实时场景
    传统离线大数据架构
    2.公司离线业务多，实时业务少
    离线数仓+实时链路的Lambda架构
    3.公司离线业务和实时业务都比较多
    离线数仓+实时数仓的Lambda架构
    4.公司时实时业务多，离线相对少
    Kappa纯实时数仓架构

    绝大多数公司采用Lambda架构

    互联网公司实时业务多混合架构
    绝大多数实时业务采用Kappa架构，关键核心业务使用离线全量计算方式（lambda）