数据采集这个工作的背景
    从前端采集用户完整的行为信息,用于数据分析和其他业务

    为什么要做数据采集
    收集数据 完善数据库

    项目采集方案要点考虑

    • 公司日志服务器所在机房与hdfs集群不在同一个网段 需要做中转

    image.png

    • 传输网络要尽量高可用
    • 敏感字段信息需要加密脱敏
    • 日志流量与采集网络吞吐能力匹配
    • 数据上报延迟的影响需要考虑

    image.png