需求来源

朋友家物业需要收集小区人员的核酸证明图片，大致流程如下：

  1. 一个excel表格，里面存储的是人员的姓名和身份证号
  2. 在查询网站上输入人员的姓名及身份证号

image.png

  1. 进入报告总览界面，获取第一条核酸证明记录

image.png

  1. 下载里面的核酸证明

image.png

需求分析

  1. 读取excel，获取人员信息并转成数组
  2. 需要做一个类似登录的验证，获取cookie，后面携带cookie获取信息。
  3. 界面html解析，获取第一条a标签的地址
  4. 正则表达式，将查看的地址中的report转换为down即可生成图片资源的连接
    1. pandas.read_excel：解析excel
    2. urllib：网络请求
    3. http.cookiejar：存储cookie
    4. BeautifulSoup：解析html
    5. requests：获取链接中的图片资源

    读取excel

    ```python import pandas as pd

def get_excel_data():

  1. # 读取excel第2列和第3列的信息
  2. name_id = pd.read_excel("data.xlsx", usecols=[1, 2], header=0)
  3. # 将读取成功的信息转换为数组格式
  4. lists = name_id.values.tolist()
  5. result = []
  6. # 以姓名、id的对象形式存入结果集
  7. for person_list in lists:
  8.     result.append({
  9.         "name": person_list[0],
  10.         "id": person_list[1]
  11.     })
  12. return result
  1. <a name="frmPs"></a>
  2. ### 登录（验证）并存储cookie
  3. ```python
  4. import urllib.request
  5. import urllib.parse
  6. import http.cookiejar
  8. def login(name, idcard):
  9.     form_data = {'IDCard': idcard, 'xm': name}
  10.     # 将对象格式转换为urlencode格式
  11.     postdata = urllib.parse.urlencode(form_data).encode()
  12.     # 创建请求体
  13.     request = urllib.request.Request('验证身份的api', postdata)
  14.     # 发送请求
  15.     response = opener.open(request)
  16.     # 存储cookie
  17.     for item in cookiejar:
  18.         Cookie = '%s=%s' % (item.name, item.value)
  19.     # 将cookie放入全局的请求头中
  20.     headers['Cookie'] = Cookie

携带cookie访问报告总览界面

这一步主要进行两个操作：

  1. 获取界面html
  2. 解析界面html并找到第一个a标签中的href属性值
    1. def to_my_report():
    2.  # 进入网页
    3.  request = urllib.request.Request('界面的地址')
    4.  # 获取网页源码
    5.  response = opener.open(request)
    6.  # 解析网页html
    7.  soup = BeautifulSoup(response.read(), 'lxml')
    8.  # 返回第一个a标前的href属性值
    9.  return soup.a.attrs['href']

    下载图片链接中的图片资源

    ```python import requests

def get_photo(img_url, file_name):

  1. # 请求资源链接
  2. r = requests.get(img_url, headers=headers, stream=True)
  3. if r.status_code == 200:
  4.     # 调用open将资源流存入文件夹
  5.     with open('./photo/' + file_name + '.jpg', 'wb') as f:
  6.         f.write(r.content)
  7.     return True
  8. else:
  9.     return False
  2. <a name="pjjdL"></a>
  3. ### 整合以上方法
  4. ```python
  5. if __name__ == '__main__':
  6.     # 记录下载的结果
  7.     count = 0
  8.     count_fail = 0
  9.     count_un_res = 0
  10.     download_fail_person = []
  11.     un_res_person = []
  12.     # 获取人员信息数组
  13.     person_list = get_excel_data()
  14.     try:
  15.         # 遍历人员信息
  16.         for data in person_list:
  17.             # 获取cookie
  18.             login(data['name'], data['id'])
  19.             # 拿到带guid的href链接
  20.             href = to_my_report()
  21.             print("正在下载{}".format(data))
  22.             # 如果是javascript:void(0)则说明核酸结果未出
  23.             if href == 'javascript:void(0)':
  24.                 count_un_res += 1
  25.                 un_res_person.append(data)
  26.             else:
  27.                 # 若结果已出则将链接中的report通过replace换为down（即图片资源链接）
  28.                 if get_photo(base_url + href.replace('report', 'down'), data['name']):
  29.                     count += 1
  30.                 else:
  31.                     count_fail += 1
  32.                     download_fail_person.append(data)
  33.     except Exception as err:
  34.         print('下载中断,请检查网络后重试')
  35.     finally:
  36.         print('已下载：', count)
  37.         print('未出结果：', count_un_res)
  38.         print('下载失败：', count_fail)
  39.         print('共计：', count + count_un_res + count_fail)
  40.         print('未出结果人员名单：', un_res_person)
  41.         print('下载失败人员名单：', download_fail_person)
  42.     input("按任意键退出：")

小结

两小时就搞完的东西真的不好意思收别人钱哈哈哈哈哈，朋友的舅舅非要给，小赚100💸