一、背景

  1. URL地址：http://dgepb.dg.gov.cn/sjzxh.html
  2. 目标：批量下载图中的附件

image.png

二、实现过程

1.思路

  • 获取文件链接：通过网络抓包，可以很容易发现json数据格式

image.png

  • 构造出post参数即可

    1. post_params={
    2.   'page':'1',       #页码，默认为1
    3.   'rows':'20',      #每页多少条，最大20
    4.   'HBTB_XH':'','HBTB_XH_END':'','HBTB_XMMC':'','HBTB_JSDD':'','HBTB_JSDW':'','HBTB_SLRQ':'','HBTB_SLRQ_END':'',
    5.   'dirId':'402881204e959150014e959f42f30014',     #文件夹编号
    6.   'subjectId':'93e889f2501d3fe8015024305bdf0efc',
    7.   'backPage':'','vcode':''
    8. }

    三、小结

  • 三页过后会有滑块验证码，目前显示不了，尚未解决

四、代码

  1. from os import error
  2. import requests
  3. import re
  4. import json
  5. from time import sleep
  6. from bs4 import BeautifulSoup
  7. from tqdm import tqdm
  11. #获取文件链接
  12. file_urls=[]
  13. file_names=[]
  14. count = int(input('请输入爬取页码数(1,2,3.....)：'))
  15. headers = {
  16.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.81',
  17.     'Referer':'http://120.86.191.138/hbgs/zwgk/dirData.do?dirId=402881204e959150014e959f42f30014&subjectId=93e889f2501d3fe8015024305bdf0efc'
  18. }
  19. post_params={
  20.     'page':'1',       #页码，默认为1
  21.     'rows':'20',      #每页多少条，最大20
  22.     'HBTB_XH':'','HBTB_XH_END':'','HBTB_XMMC':'','HBTB_JSDD':'','HBTB_JSDW':'','HBTB_SLRQ':'','HBTB_SLRQ_END':'',
  23.     'dirId':'402881204e959150014e959f42f30014',     #文件夹编号
  24.     'subjectId':'93e889f2501d3fe8015024305bdf0efc',
  25.     'backPage':'','vcode':''
  26. }
  27. path = 'http://120.86.191.138/hbgs/zwgk/item.do'
  29. print('开始爬取新闻链接...')
  31. for i in tqdm(range(1,count+1)):
  32.     post_params['page']=i       #第4页开始出现验证码验证，反爬虫
  33.     req=requests.post(url=path,params=post_params,headers=headers)
  34.     try:
  35.         req.encoding='utf-8'
  36.         file_json=req.json().get('rows')
  37.         for item in file_json:
  38.             file_url=item.get('HBTB_HPWJ')
  39.             file_urls.append(file_url)
  40.             file_name=file_url.split('/')[-1]       #取文件名
  41.             file_names.append(file_name)
  42.     except :
  43.         print('第{0}页出现error'.format(i))
  44.         continue 
  45. #print(file_urls,'\n')
  46. #print(file_names,'\n')
  48. #下载文件
  49. len=2   #下载文件数
  50. for i in range(1,len+1):
  51.     req=requests.get(file_urls[i])
  52.     with open (file_names[i],'wb') as f:
  53.         f.write(req.content)
  55. print('---结束---')