数据采集这个工作的背景 从前端采集用户完整的行为信息,用于数据分析和其他业务 为什么要做数据采集收集数据 完善数据库 项目采集方案要点考虑 公司日志服务器所在机房与hdfs集群不在同一个网段 需要做中转 传输网络要尽量高可用敏感字段信息需要加密脱敏日志流量与采集网络吞吐能力匹配数据上报延迟的影响需要考虑