须知:一个网页右键检查(F12)所看到的代码是浏览器最终渲染完成的代码,它和网站服务器给你相应的源代码不一定相同,抓取数据的时候一定要以源代码为主,检查可以帮助你快速查找数据!!!
目标:
1:掌握requests 模块的基本使用(获取url响应数据)
2:掌握requests 模块响应对象一些基本属性
3:掌握requests 模块响应对象的 json()方法作用
一:requests 模块的基本使用(获取url响应数据)
实现功能:向指定url发送请求(User-Agent经过包装)获取响应数据
语法:
1:res_obj = requests.get(url = url,headers = headers) →向目标url发送get请求,返回响应对象
html_data = res_obj.text →利用响应对象的text属性获取响应源代码
2:html_data = requests.get(url = url,headers = headers,timeout=3).text → 向目标url发送get请求,获取响应源代码
参数:
1.url:请求的目标url
2.headers:包装的请求标头信息
3.timeout:设置请求时间,如果向指定网站发送请求,等待的响应时间超过3秒,则抛出异常(可捕获用!)
注意事项:
1:在 requests 模块内的响应对象没有方法,全都是属性,例如 text 属性
2:requests 模块是第三方模块安装语法 pip3 install requests
3:响应对象的text属性获取的是字符串响应数据
截图:

设置timeout参数抛出异常截图:

二: requests模块响应对象一些基本属性
res_obj = requests.get(url = url,headers = headers) →创建指定url服务器的响应对象
下面是响应对象的一些常用属性
res_obj.text:获取指定url的响应源代码(字符串类型的)
res_obj.content:获取指定url的响应源代码(bytes类型的,也就是二进制的响应源代码)
res_obj.url:获取服务器响应数据的真实url地址
res_obj.status_code:获取客户端与服务端进行http通信的状态码
截图:

三:requests 模块响应对象的 json()方法作用
方法名:json()
语法:requests响应对象.json()
功能:将 json 格式的字符串【字典格式的字符串】转换为python格式的字典!
代码演示
不使用json()方法返回的数据类型

使用json()方法返回的数据类型

