一、课堂笔记

使用背景

网站使用了反爬虫机制：封IP
我们使用的反反爬机制：使用代理进行访问

笔记

二、准备工作

1.本机ip查询

2.代理网站获取

• 快代理：https://www.kuaidaili.com/pricing/
• 西拉代理（网络不好）：http://www.xiladaili.com/gaoni/
• 66免费代理：http://www.66ip.cn/index.html（洗IP技术文章参考）
• 91代理：http://91.91vps.com/help/http.html（代理使用Q&A技术文档）
• 高可用全球免费代理IP库：全球的都有，git上也有采集办法
• 站大爷：有响应时间和存活时长显示，比较友好
• 89免费代理IP：https://www.89ip.cn/

3.检测代理IP可用性

• 在线检测：http://www.66ip.cn/yz/
• 代码实现：python爬虫——爬取（66ip）代理

4.代理IP相关技术文章

• 站大爷的代理IP知识文章集：各种文章都有，适合扫雷入门
• 代理使用Q&A技术文档：91代理的，常见问题解答

三、代理的使用

打开代理网站，选择与要访问的网站同样协议（http/https）的代理IP，写入到代码中

免费的代理池太难用了，有用的IP少，而且现在有用，过会儿又不行了。