目标:
    1:掌握控制台抓包的具体步骤以及参数功能
    2:掌握什么是post请求
    3:掌握利用requests模块向目标url发送post请求的语法
    4:掌握利用pycharm正则批量处理字符串的步骤

    一:控制台抓包的具体步骤以及参数功能

    第一步:打开网站按下F12打开控制台

    第二步:刷新网站,对网站进行一些操作后进行二次刷新(动态显示的网站无需二次刷新,数据包已经加载,比如有道翻译网站)

    第三步:根据一些规则(响应数据)找到自己需要的数据包

    第四步:分析请求的目标URL以及请求方式

    注意事项:

    1:如果待抓取的数据在网页源代码内没有,基本都是异步(动态)加载的,我们可以考虑抓取XHR的包
    2:多多利用好数据包信息栏里面的Preview选项(对服务器响应数据的预览),可以根据这个快速找到我们待抓取的包

    image.png


    二:什么是post请求

    答:post请求就是客户端带着Form data 表单数据(字典)向服务器发送的请求

    三:利用requests模块向目标url发送post请求的语法

    语法:requests.post(url=…….,headers={},data={}).text

    重要参数:data data 参数就是客户端需要带着的Form data 表单数据
    参数类型:字典

    image.png


    四:利用pycharm正则批量处理字符串的步骤(一般是将字符串变为字典形式)

    第一步:在pycharm内新建txt文件

    第二步:将待批量处理的字符串复制进来

    第三步:按下快捷键 Ctrl + r

    第四步:利用 pycharm 自己的正则对字符串进行批量处理

    截图:

    image.png