背景:
    将同步180w的会员操作日志记录从Mysql同步到Elasticsearch中。Mysql单表存储180w记录,且需要关联其他表进行联合查询。

    过程:
    经过测试,执行查询sql,单次查询记录数在25w条上下,分页查询,每页1000条,平均执行时间是13秒上下,全部导入Elasticsearch,大约需要40分钟。将操作日志切割为25w条左右一组,分为7组,每小时执行1次,定时从凌晨1点开始执行,早上8点全部执行完,9点上班看结果。

    组件:
    数据同步采用Logstash,无需开发,只要配置就好了。