分布式相关

[ scrapy-redis 、 rq / celery 、ELK 、 ]

一、构建
1、爬虫：使用现有scrapy分布式框架scrapy-redis，主机生成任务分发到消息队列上，从机从消息队列消费业务

二、部署
1、使用Docker容器技术，把从机执行代码连同依赖环境装在容器上，在指定云主机等进行远程部署；最后按照自定义计划执行业务代码
2、moba → ssh的使用，修改config然后scp等方法

三、运维
通过日志转 Elastic Stack栈 调用观察

crawllab——————留坑