3. requests
    5. 阅读: 1
    6. 我们已经讲解了Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。
    8. 更好的方案是使用requests。它是一个Python第三方库，处理URL资源特别方便。
    10. 安装requests
    12. 如果安装了Anaconda，requests就已经可用了。否则，需要在命令行下通过pip安装：
    14. $ pip install requests
    15. 如果遇到Permission denied安装失败，请加上sudo重试。
    17. 使用requests
    19. 要通过GET访问一个页面，只需要几行代码：
    21. >>> import requests
    22. >>> r = requests.get('https://www.douban.com/') # 豆瓣首页
    23. >>> r.status_code
    24. 200
    25. >>> r.text
    26. r.text
    27. '<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'
    28. 对于带参数的URL，传入一个dict作为params参数：
    30. >>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
    31. >>> r.url # 实际请求的URL
    32. 'https://www.douban.com/search?q=python&cat=1001'
    33. requests自动检测编码，可以使用encoding属性查看：
    35. >>> r.encoding
    36. 'utf-8'
    37. 无论响应是文本还是二进制内容，我们都可以用content属性获得bytes对象：
    39. >>> r.content
    40. b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
    41. requests的方便之处还在于，对于特定类型的响应，例如JSON，可以直接获取：
    43. >>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
    44. >>> r.json()
    45. {'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
    46. 需要传入HTTP Header时，我们传入一个dict作为headers参数：
    48. >>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
    49. >>> r.text
    50. '<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...'
    51. 要发送POST请求，只需要把get()方法变成post()，然后传入data参数作为POST请求的数据：
    53. >>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
    54. requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据，可以直接传入json参数：
    56. params = {'key': 'value'}
    57. r = requests.post(url, json=params) # 内部自动序列化为JSON
    58. 类似的，上传文件需要更复杂的编码格式，但是requests把它简化成files参数：
    60. >>> upload_files = {'file': open('report.xls', 'rb')}
    61. >>> r = requests.post(url, files=upload_files)
    62. 在读取文件时，注意务必使用'rb'即二进制模式读取，这样获取的bytes长度才是文件的长度。
    64. 把post()方法替换为put()，delete()等，就可以以PUT或DELETE方式请求资源。
    66. 除了能轻松获取响应内容外，requests对获取HTTP响应的其他信息也非常简单。例如，获取响应头：
    68. >>> r.headers
    69. {Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
    70. >>> r.headers['Content-Type']
    71. 'text/html; charset=utf-8'
    72. requests对Cookie做了特殊处理，使得我们不必解析Cookie就可以轻松获取指定的Cookie：
    74. >>> r.cookies['ts']
    75. 'example_cookie_12345'
    76. 要在请求中传入Cookie，只需准备一个dict传入cookies参数：
    78. >>> cs = {'token': '12345', 'status': 'working')
    79. >>> r = requests.get(url, cookies=cs)
    80. 最后，要指定超时，传入以秒为单位的timeout参数：
    82. >>> r = requests.get(url, timeout=2.5) # 2.5秒后超时
    83. 小结
    85. 用requests获取URL资源，就是这么简单！