须知:一个网页右键检查(F12)所看到的代码是浏览器最终渲染完成的代码,它和网站服务器给你相应的源代码不一定相同,抓取数据的时候一定要以源代码为主,检查可以帮助你快速查找数据!!!


    目标:

    1:掌握requests 模块的基本使用(获取url响应数据)
    2:掌握requests 模块响应对象一些基本属性
    3:掌握requests 模块响应对象的 json()方法作用


    一:requests 模块的基本使用(获取url响应数据)

    实现功能:向指定url发送请求(User-Agent经过包装)获取响应数据

    语法:

    1:res_obj = requests.get(url = url,headers = headers) →向目标url发送get请求,返回响应对象
    html_data = res_obj.text →利用响应对象的text属性获取响应源代码

    2:html_data = requests.get(url = url,headers = headers,timeout=3).text → 向目标url发送get请求,获取响应源代码

    参数:

    1.url:请求的目标url
    2.headers:包装的请求标头信息
    3.timeout:设置请求时间,如果向指定网站发送请求,等待的响应时间超过3秒,则抛出异常(可捕获用!)

    注意事项:

    1:在 requests 模块内的响应对象没有方法,全都是属性,例如 text 属性
    2:requests 模块是第三方模块安装语法 pip3 install requests
    3:响应对象的text属性获取的是字符串响应数据

    截图:

    image.png

    设置timeout参数抛出异常截图:

    image.png

    二: requests模块响应对象一些基本属性

    res_obj = requests.get(url = url,headers = headers) →创建指定url服务器的响应对象

    下面是响应对象的一些常用属性

    res_obj.text:获取指定url的响应源代码(字符串类型的)

    res_obj.content:获取指定url的响应源代码(bytes类型的,也就是二进制的响应源代码)

    res_obj.url:获取服务器响应数据的真实url地址

    res_obj.status_code:获取客户端与服务端进行http通信的状态码

    截图:

    image.png


    三:requests 模块响应对象的 json()方法作用

    方法名:json()
    语法:requests响应对象.json()
    功能:将 json 格式的字符串【字典格式的字符串】转换为python格式的字典!

    代码演示

    不使用json()方法返回的数据类型

    image.png

    使用json()方法返回的数据类型

    image.png