代理ip池,通俗地比喻一下,它就是一个池子,里面装了很多代理ip。它有如下的行为特征:

    1. 池子里的ip是有生命周期的,它们将被定期验证,其中失效的将被从池子里面剔除。
    2. 池子里的ip是有补充渠道的,会有新的代理ip不断被加入池子中。
    3. 池子中的代理ip是可以被随机取出的。

    这样,代理池中始终有多个不断更换的、有效的代理ip,且我们可以随机从池子中取出代理ip,然后让爬虫程序使用代理ip访问目标网站,就可以避免爬虫被ban的情况。

    今天,我们就来说一下如何构建自己的代理ip池。而且,我们要做一个比较灵活的代理池,它提供两种代理方式:

    1. 每次都通过http接口提取一个随机代理ip,然后在爬虫中使用此代理ip(大部分代理ip池服务都是这种形式)
    2. 使用squid3代理做请求转发,爬虫设置好squid3代理的地址,每次请求将由squid3自动转发给代理池中的代理

    https://zhuanlan.zhihu.com/p/441172582
    https://www.jianshu.com/p/a8922e1551ae
    https://zoutao.blog.csdn.net/article/details/103248172
    动态住宅IP

    eggjs 定时任务
    https://blog.csdn.net/crazynzg/article/details/119981810
    https://www.csdn.net/tags/MtTaEg2sNzA2NDk1LWJsb2cO0O0O.html
    https://coding.imooc.com/class/chapter/178.html#Anchor