urllib模块

0.urllib是什么

是Python的内置模块

1.为啥要学urllib

1.用于对比第三方库的学习
2.有的项目是用urllib写的
3.request请求+urllib保存文件方便

  1. import requests
  3. url = 'https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fimg.jj20.com%2Fup%2Fallimg%2F1113%2F092919113248%2F1Z929113248-8-1200.jpg&refer=http%3A%2F%2Fimg.jj20.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1648693445&t=ea8a4fa8599404cb90a7273342cd169f'
  5. re = requests.get(url)
  7. with open('picture.png','wb') as f: #一般爬音频图片用wb
  8.     f.write(re.content)                #一般爬音频图片用content
  1. import requests
  2. from urllib import request
  4. url = 'https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fimg.jj20.com%2Fup%2Fallimg%2F1113%2F092919113248%2F1Z929113248-8-1200.jpg&refer=http%3A%2F%2Fimg.jj20.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1648693445&t=ea8a4fa8599404cb90a7273342cd169f'
  6. re = requests.get(url)
  8. request.urlretrieve(url,'picture2.png')#第二个参数可以是文件名（会在本文件夹建一个文件）
  9.                                         也可以是文件路径

2.urllib的常用模块之request模块

  1. urllib.request.urlopen(网站链接)
  2. urllib.request.urlopen(请求对象)
  3. 作用：发送请求，并返回一个对象

使用urllib爬取百度

  1. import urllib.request
  3. url = 'https://www.baidu.com/'
  5. respones = urllib.request.urlopen(url)
  7. print(respones.read())
  8. >>>b'<html>\r\n<head>\r\n\t<script>\r\n\t\
  9. tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript>
  10. <meta http-equiv="refresh" 
  11. content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

这样爬取发现问题：
1.数据是字节不是方便操作的数据类型 ——> 解码 

  1. import urllib.request
  3. url = 'https://www.baidu.com/'
  5. respones = urllib.request.urlopen(url)
  7. print(respones.read().decode('utf-8'))
  8. >>>
  9. <html>
  10. <head>
  11.     <script>
  12.         location.replace(location.href.replace("https://","http://"));
  13.     </script>
  14. </head>
  15. <body>
  16.     <noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
  17. </body>
  18. </html>

2.通过查看源码的方式发现爬取的数据与网页里的数量不一致 ——> 认出是爬虫不给数据，重构做个头

  1. import urllib.request
  3. url = 'https://www.baidu.com/'
  5. headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36"}
  7. respones = urllib.request.urlopen(url,headers = headers)
  9. print(respones.read().decode('utf-8'))
  11. >>>TypeError: urlopen() got an unexpected keyword argument 'headers'

想要重构头需要另一个方法：urllib.request.Request(url，headers = headers)形成一个有头的请求对象UA

  1. import urllib.request
  3. url = 'https://www.baidu.com/'
  5. headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36"}
  7. request_obj = urllib.request.Request(url,headers = headers)
  9. response_result = urllib.request.urlopen(request_obj)
  11. print(response_result.read().decode('utf-8')

补充：

  1. print(response_result.getcode())
  2. 放在urllib.request.urlope()返回的对象后可以看到请求的状态码，养成习惯
  3. >>>200
  5. print(response_result.geturl())
  6. print(response_result.status)
  7. 查看请求对象的请求地址
  8. >>>https://www.baidu.com/
  10. print(response_result.getheaders())
  11. 获得全部请求头
  12. print(response_result.getheaders('Bdpagetype'))
  13. >>> 1
  14. 可以传参，想要啥值就传入啥参数就可以打印出对应的值

3.urllib的常用模块之parse模块

应用：当我们用url搜索时，浏览器会将url中除了字母数字部分符号外的其他转化成16进制，所以我们写爬虫的时候如果由汉字或其他浏览器读不懂的东西要把它解析

  1. import urllib.request
  3. url1 = 'https://www.baidu.com/s?wd=%E5%A5%A5%E8%BF%90%E4%BC%9A'
  4. url2 = 'https://www.baidu.com/s?wd=奥运会'
  6. response_result = urllib.request.urlopen(url1)
  7. response_result = urllib.request.urlopen(url2)  #UnicodeEncodeError
  9. 需要把url2转化成url1的样子，三个%表示一个汉字

方法一：urlencode（）编码

  1. import urllib.request
  2. import urllib.parse
  4. url2 = 'https://www.baidu.com/s?wd=奥运会'
  6. r = {"wd":'奥运会'}                         #把要转化的参数与值写入字典
  7. re = urllib.parse.urlencode(r)                #传入字典，并接收返回的值
  8. url3 = 'https://www.baidu.com/s?' + re        #字符串进行拼接，直接把url编码会出错，只能拼接
  9. print(url3)
  10. response_result = urllib.request.urlopen(url3)

方法二：quote（）编码

  1. import urllib.request
  2. import urllib.parse
  4. url2 = 'https://www.baidu.com/s?wd=奥运会'
  6. r = '奥运会'                                #准备好要转化的字符串
  7. re = urllib.parse.quote(r)                   #传入字符串，并接收返回的值    
  8. url3 = 'https://www.baidu.com/s?wd=' + re
  9. print(url3)                                   ##字符串进行拼接，直接把url编码会出错，只能拼接
  10. response_result = urllib.request.urlopen(url3)

4.解码

url里有一堆%,需要解码

  1. import urllib.request
  2. import urllib.parse
  4. url = 'https%3A%2F%2Fshp%2Eqpic%2Ecn%2Fishow%2F2735022317%2F1645610274%5F1265602313%5F44569%5FsProdImgNo%5F1%2Ejpg%2F200'
  6. print(urllib.request.unquote(url))
  8. >>>https://shp.qpic.cn/ishow/2735022317/1645610274_1265602313_44569_sProdImgNo_1.jpg/200

5.案例

批量处理：把一些网址的参数转成字典形式，再通过urlencode()方法转化成字符串，进而拼出自己需要的url
为啥需要拼url：这样可以实现对一个网址的动态爬取输入自己想要爬取的主题，页数。
在哪里获得url里的参数：
image.png

  1. #1.ctrl+R 出现一个框
  2. #2.选择.*进入正则模式
  3. #3.在框内输入(.*?):(.*)
  4. #            "$1":"$2",
  5. #4.点击匹配全部 replace all
  6. #5.字典转成字符串urlencode(字典)方法
  7. #6.拼出自己需要的url
  9. #将参数复制进来
  10. kw: 蜡笔小新
  11. ie: utf-8
  12. pn: 0
  13. #做前四项操作
  14. "kw":" 蜡笔小新",
  15. "ie":" utf-8",
  16. "pn":" 0",
  17. #把它们放入字典转化成字符串
  18. import urllib.parse
  20. dict = {"kw": "蜡笔小新","ie": "utf-8","pn": "0"}
  22. dict_str = urllib.parse.urlencode(dict)
  24. print(dict_str)
  26. >>>kw=%E8%9C%A1%E7%AC%94%E5%B0%8F%E6%96%B0&ie=utf-8&pn=0
  28. url之后再拼接就可以了