• 需求：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据
      http://125.35.6.84:81/xk/
      - 动态加载数据
      - 首页中对应的企业信息数据是通过ajax动态请求到的。
      http://125.35.6.84:81/xk/itownet/portal/dzpz.jsp?id=e6c1aa332b274282b04659a6ea30430a
      http://125.35.6.84:81/xk/itownet/portal/dzpz.jsp?id=f63f61fe04684c46a016a45eac8754fe
      - 通过对详情页url的观察发现：
      - url的域名都是一样的，只有携带的参数（id）不一样
      - id值可以从首页对应的ajax请求到的json串中获取
      - 域名和id值拼接处一个完整的企业对应的详情页的url
      - 详情页的企业详情数据也是动态加载出来的
      - http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById
      - http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById
      - 观察后发现：
      - 所有的post请求的url都是一样的，只有参数id值是不同。
      - 如果我们可以批量获取多家企业的id后，就可以将id和url形成一个完整的详情页对应详情数据的ajax请求的url

      1. if __name__ == "__main__":
      2.   headers = {
      3.       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
      5.   }
      6.   id_list = []  # 存储企业的id
      7.   all_data_list = []  # 存储所有的企业详情数据
      8.   # 批量获取不同企业的id值
      9.   url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
      10.   # 参数的封装
      11.   for page in range(1, 6):
      12.       page = str(page)
      13.       data = {
      14.           'on': 'true',
      15.           'page': page,
      16.           'pageSize': '15',
      17.           'productName': '',
      18.           'conditionType': '1',
      19.           'applyname': '',
      20.           'applysn': '',
      21.       }
      22.       json_ids = requests.post(url=url, headers=headers, data=data).json()
      23.       for dic in json_ids['list']:
      24.           id_list.append(dic['ID'])
      26.   # 获取企业详情数据
      27.   post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
      28.   for id in id_list:
      29.       data = {
      30.           'id': id
      31.       }
      32.       detail_json = requests.post(url=post_url, headers=headers, data=data).json()
      33.       # print(detail_json,'-------------ending-----------')
      34.       all_data_list.append(detail_json)
      36.   # 持久化存储all_data_list
      37.   fp = open('./allData.json', 'w', encoding='utf-8')
      38.   json.dump(all_data_list, fp=fp, ensure_ascii=False)
      39.   print('over!!!')