背景:
将同步180w的会员操作日志记录从Mysql同步到Elasticsearch中。Mysql单表存储180w记录,且需要关联其他表进行联合查询。
过程:
经过测试,执行查询sql,单次查询记录数在25w条上下,分页查询,每页1000条,平均执行时间是13秒上下,全部导入Elasticsearch,大约需要40分钟。将操作日志切割为25w条左右一组,分为7组,每小时执行1次,定时从凌晨1点开始执行,早上8点全部执行完,9点上班看结果。
组件:
数据同步采用Logstash,无需开发,只要配置就好了。