Python爬虫

1.爬虫提纲

1.1 定义

1.2 用途

1.3 分类

1.4 http和https

1.5 robots协议

1.6 浏览器发送https请求

1.7 字符串转换知识

2.request

2.1 发送请求

2.2 为了达到和浏览器一模一样的效果，要发送带header的请求

通常只需要放上去User-Agent

实例

字符串format

2.3 百度贴吧

类实现方法

for循环的写法

面向对象知识

2.4 发送post请求

多了一个data参数

百度翻译：电脑版有sign行不通，可以切换为手机版

根据输入翻译

2.5 使用代理

免费代理

代理示例

2.5 cookie和session

方法1：

方法2：把cookies放到header中

cookie当做参数传进去

2.6 request模块

request保存图片

3.chrome分析post与json

3.1 寻找post地址

人人网实例

3.2 寻找JavaScript

3.3 request小技巧

编码

SSL

超时（函数）

retrying

封装结果

4.json数据处理

4.1 json数据提取