• 需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据

      1. if __name__ == "__main__":
      2.   # UA伪装：将对应的User-Agent封装到一个字典中
      3.   headers = {
      4.       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) '
      5.                     'Chrome/72.0.3626.121 Safari/537.36 '
      6.   }
      7.   url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
      9.   # 处理url携带的参数：封装到字典中
      10.   kw = input('请输入一个地区:')
      11.   kfc_list = []  # kfc餐厅地址
      12.   for page in range(1, 3):
      13.       page = str(page)
      14.       data = {
      15.           'cname': '',
      16.           'pid': '',
      17.           'keyword': kw,
      18.           'pageIndex': page,
      19.           'pageSize': '10'
      20.       }
      21.       # 请求发送
      22.       response = requests.post(url=url, data=data, headers=headers)
      24.       # 获取响应数据:json()方法返回的是obj（如果确认响应数据是json类型的，才可以使用json（））
      25.       list_data = response.json()
      26.       kfc_list.append(list_data)
      28.   # 持久化存储
      29.   fileName = kw + 'kfc.json'
      30.   fp = open(fileName, 'w', encoding='utf-8')
      31.   json.dump(kfc_list, fp=fp, ensure_ascii=False)
      33.   count = 1   # 餐厅个数计数
      34.   # 打印所有餐厅名称和地址
      35.   for dic in kfc_list:
      36.       for table1 in dic['Table1']:
      37.           print("No." + str(count))
      38.           count = count + 1
      39.           print('名称：'+table1['storeName'])
      40.           print('地址：' + table1['addressDetail'])
      42.   print('over!!!')