学期：2021-2022学年第一学期

    学 院 大数据与智能工程学院 年 级、 专 业、 班 18级数据科学与大数据技术（专升本）一班 姓 名
    		学号
    实验项目 名称 抓取 1000条 51job 网站的大数据职位数据的岗位，地点，薪资

    实验学时： 3h 同组学生姓名： 王美琴、尤博欣、周青青、李昕辰 实验地点： 9317
    实验日期： 实验成绩： 批改教师： 批改时间：
    指导教师评阅：

    1. 实验目的：抓取 1000条 51job 网站的大数据职位数据的岗位，地点，薪资
    2. 实验原理：requests请求、re正则表达式、 随机函数模块
    3. 实验环境 ：win11、python3.9、vscode、edge
    4. 实验步骤：
      1. 携带请求头请求51job网站的主页
      2. 使用re正则表达式语法解析网页数据
      3. 返回51job网站中大数据职位数据的岗位，地点，数据保存为json文件

    核心代码：

    1. # coding=utf8
    2. import random
    3. from concurrent.futures.thread import ThreadPoolExecutor
    4. import requests
    5. import re
    6. import json
    7. from lxml import etree
    10. def readeIP():
    11.     params = [
    12.         {"HTTP": "HTTP://211.65.197.93:80"},
    13.         {"HTTP": "HTTP://218.14.108.53:8060"},
    14.         {"HTTP": "HTTP://124.93.201.59:42672"},
    15.         {"HTTP": "HTTP://47.100.14.22:9006"},
    16.         {"HTTP": "HTTP://121.237.88.63:3000"},
    17.         {"HTTP": "HTTP://47.116.142.11:7890"},
    18.         {"HTTP": "HTTP://111.231.86.149:7890"},
    20.     ]
    21.     return random.choice(params)
    24. def ReadeUserAgent():
    25.     """
    26.     :return:随机浏览器头部
    27.     """
    28.     headers = [
    29.         {
    30.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36"},
    31.         {
    32.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E; rv:11.0) like Gecko"},
    33.         {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"},
    34.         {"User-Agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)"},
    35.         {"User-Agent": "User-Agent,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0"},
    36.         {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0"},
    37.         {"User-Agent": "User-Agent,Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)"},
    38.         {"User-Agent": "User-Agent,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"},
    39.         {"User-Agent": "User-Agent, Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"},
    40.         {
    41.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2669.400 QQBrowser/9.6.10990.400"},
    42.         {
    43.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"},
    44.         {
    45.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/5.0.3.4000 Chrome/47.0.2526.73 Safari/537.36"},
    46.         {
    47.             "User-Agent": "User-Agent,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"},
    49.     ]
    50.     return random.choice(headers)
    53. def home_url(i, name, headers, params):
    54.     url = "https://search.51job.com/list/000000,000000,0000,00,9,99," + name + ",2," + str(i) + ".html"
    55.     response = requests.get(url, headers=headers, params=params)
    56.     ob1 = re.compile(r'window.__SEARCH_RESULT__ =(.*?)</script>', re.S)
    57.     html = ob1.findall(response.text)[0]
    58.     html = json.loads(html)
    59.     engine_jds = html["engine_jds"]
    60.     data_url(engine_jds, headers)
    63. def data_url(engine_jds, headers):
    64.     for data in engine_jds:
    65.         item = {}
    66.         item["job_title"] = data["job_title"]  # 职位名称
    67.         item["providesalary_text"] = data["providesalary_text"]  # 薪资
    68.         item["issuedate"] = data["issuedate"]  # 发布时间
    69.         item["attribute_text"] = data["attribute_text"]  # 工作地址、经验、学历、招聘几人
    70.         item["jobwelf"] = data["jobwelf"]  # 福利待遇
    71.         item["job_href"] = data["job_href"]  # url详细链接地址
    72.         # print(item)
    73.         xiangxi_url(item["job_href"], headers, item)
    74.         break
    77. def xiangxi_url(url, headers, item):
    78.     params = readeIP()
    79.     # print(url, headers)
    80.     response = requests.get(url, headers=headers, params=params)
    81.     response.encoding = "utf-8"
    82.     # print(response.text)
    83.     try:
    84.         # 滑动处理
    85.         if re.findall(r'<title>滑动验证页面</title>', response.text):
    86.             pass
    87.         pass
    88.     except:
    89.         pass
    90.     html = etree.HTML(response.text)
    91.     text = html.xpath('/html/body/div[3]/div[2]/div[3]/div[1]/div[@class="bmsg job_msg inbox"]//text()')
    92.     print(text)
    95. def main():
    96.     name = "爬虫"
    97.     # home_url(i, name, headers=headers,params=params)
    99.     with ThreadPoolExecutor(50) as t:
    100.         for i in range(1, 3):
    101.             # 随机浏览器头部
    102.             headers = ReadeUserAgent()
    103.             params = readeIP()
    104.             # 把下载任务提交给线程池
    105.             t.submit(home_url, i=i, name=name, headers=headers)
    108. if __name__ == '__main__':
    109.     main()

    1. 实验结果及分析：

      通过requests库,并添加网页请求头，使用代理IP，请求网页url，利用随机函数得到网页数据源代码，并通过re正则表达式进行数据整理提取，最后存入json文件。

    2. 实验总结：

      通过抓取1000条51job网站的大数据职位数据岗位、地点、薪资实验当中，实验小组成员发现有一些公司招聘并没有写学历要求，直接爬取会进行保存，超出索引范围，要进行判断； 保存txt文本的时候，会出现特殊字符无法保存需要把标题进行正则匹配，替换掉特殊字符。