微服务实践目录，可以参见连接。
统一数据采集接口：
数据采集：
• 数据收集接口众多，且数据格式混乱，基本每个业务都有自己的上报接
口；
• 存在较大的重复开发成本；
• 不能汇总上报，消耗客户端资源，以及网络流量；
• 每个接口收集数据项和格式不统一，加大后期数据统计分析难度；
• 各个接口实现质量并不高，存在被刷，泄密等风险。
数据接入 :
• 通过rsync同步文件，很难满足实时流计算的需求；
• 接入数据出现异常后，很难排查及定位问题，需要很高的人力成本排
查；
• 业务系统数据通过Kettle每天全量同步到数据中心，同步时间长，导致
依赖的作业经常会有延时现象。
数据清洗：
• ETL集中在作业计算前进行处理；
• 存在重复清洗。
作业调度：
• 大部分作业通过crontab调度，作业多了后不利于管理；
• 经常出现作业调度冲突。
平台监控：
• 只有硬件与操作系统级监控；
• 数据平台方面的监控等于空白。
若有收获，就点个赞吧
0 人点赞
