原文链接

前言

来到BOOS直聘
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图1
搜索python
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图2
打开控制台，查看请求发现，页面数据不是动态加载
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图3
所以直接复制当前页面链接进行爬取，经过多次的爬取之后
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图4
。。。。。。。
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图5
失策失策，以前爬取别的网站从没有这么严格的反爬虫机制，没到到翻车了。。
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图6

偷偷告诉大家一个小技巧：虽然被禁止访问了，但登录后就又可以访问了，嘿嘿！可惜我当时不知道，事后才发现，可惜。
现在这样只能使用IP代理了
使用 IP代理 参考以下文章
Python爬虫避坑IP代理教程避坑（reuqests和selenium的ip代理）
建立boos数据库
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图7
boos建表语句

  1. CREATE TABLE `boos` (
  2.   `id` int(11) NOT NULL AUTO_INCREMENT,
  3.   `title` varchar(100) DEFAULT NULL,
  4.   `company` varchar(100) DEFAULT NULL,
  5.   `price` varchar(100) DEFAULT NULL,
  6.   `education` varchar(100) DEFAULT NULL,
  7.   `text` text CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci,
  8.   `introduce` text CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci,
  9.   `address` varchar(100) DEFAULT NULL,
  10.   PRIMARY KEY (`id`)
  11. ) ENGINE=InnoDB AUTO_INCREMENT=99 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

完整代码及注释分析

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import time
  4. import pymysql
  6. #控制爬取页数
  7. num = 2
  9. #插入语句
  10. sql = "insert into boos(id,title, company, price, education, text, introduce ,address) values(null,%s,%s,%s,%s,%s,%s,%s)"
  12. #请求头
  13. headers = {
  14.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36",
  16.     #爬取boos直聘cookie必不可少，参考图1
  17.     "cookie": "_uab_collina=159575841104312945170807; __zp__pub__=; __c=1595890401; lastCity=100010000; JSESSIONID=""; _bl_uid=vLkaCdRI5j77gqrsIh0gbF4mC44z; sid=sem_pz_bdpc_dasou_title; __g=sem_pz_bdpc_dasou_title; __l=l=%2Fwww.zhipin.com%2F&r=https%3A%2F%2Fwww.google.com%2F&friend_source=0&g=%2Fwww.zhipin.com%2F%3Fsid%3Dsem_pz_bdpc_dasou_title&friend_source=0; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1595893052,1595903578,1595903959,1595906815; t=EPTZCBdCrM30pa4h; wt=EPTZCBdCrM30pa4h; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1595913530; __a=50500966.1595758411.1595862833.1595890401.177.4.124.36; __zp_stoken__=67beaGmFLZg0RXnJQY3cBIzMicU9jYzIZF1VdYXwsKBQkPCwGb0tdGEcsOHITTCwFWi49AjoIYy5BJTgsdSFCBVEoc1kTdgEWRSMQRTg3IBNgSQ5DPHsvDSFNcwokCHtOGBd4fT93SAUJYTk%3D"
  18. }
  20. #IP代理
  21. proxy = {
  22.     'https': '61.178.118.86:8080'
  23. }
  26. #爬取数据
  27. def Crawling(cur,conn,response):
  28.     #引入全局变量
  29.     global num
  30.     global sql
  32.     # 使用lxml XML解析器
  33.     data_list = BeautifulSoup(response.text, "lxml")
  35.     #拿到所有的li标签然后遍历，参考图2
  36.     #由于li没有class什么的，我们找到搜索li的父标签定位，再找下面的所有li
  37.     li_list = data_list.find(class_="job-list").find_all("li")
  39.     #遍历
  40.     for data in li_list:
  41.         bs = BeautifulSoup(str(data), "lxml")
  42.         #职位，参考图3
  43.         title = bs.find("a")["title"].strip()
  44.         url = "https://www.zhipin.com/" + bs.find("a")['href']
  46.         # 公司，图4
  47.         company = bs.find(class_="company-text").find(class_="name").text
  48.         # 公司福利 图5
  49.         education = bs.find(class_="info-desc").text
  50.         # 薪资 图6
  51.         price = bs.find(class_="red").text
  52.         # print(title+"--"+company+"--"+price+"--"+education)
  54.         # # 请求详情页，进行数据爬取
  55.         time.sleep(1)
  56.         page_source = requests.get(url=url, headers=headers)
  57.         page_source.encoding = "utf-8"
  58.         page_bs = BeautifulSoup(str(page_source.text), "lxml")
  60.         # 岗位职责，图7
  61.         text = page_bs.find(class_="text").text.strip()
  62.         #print(text)
  63.         #print("+"*100)
  65.         # 公司介绍，参考图8
  66.         #有的公司没有介绍，爬取的时候会异常，我们呢处理异常，没有的时候直接给无介绍 
  67.         try:
  68.         #因为这里的class值也是text，由于find的特性只会返回匹配到的第一个值，所以我们选择定位他的父标签，再找它
  69.             introduce = page_bs.find(class_="job-sec company-info").find(class_="text").text.strip()
  70.         except:
  71.             introduce = "无介绍"
  73.         # 工作地址，图9
  74.         #有的公司地址后带有502，我们把它替换成空串
  75.         address = page_bs.find(class_="location-address").text.replace("502","")
  77.         #执行sql，提交事务
  78.         cur.execute(sql, (title, company, price, education, text, introduce, address))
  79.         conn.commit()
  81.     #多页爬取
  82.     if num < 4:
  83.         #链接分析，图10
  84.         next_url = "https://www.zhipin.com/c100010000/?query=python&page="+str(num)+"&ka=page-"+str(num)
  85.         num += 1
  86.         next_data = requests.get(url=next_url,headers=headers,proxies=proxy)
  87.         next_data.encoding = "utf-8"
  88.         #爬取
  89.         Crawling(cur,conn,next_data)
  90.     else:
  91.         return cur,conn
  95. #初始化mysql连接
  96. def init_mysql():
  97.     dbparams = {
  98.         'host': '127.0.0.1',
  99.         'port': 3306,
  100.         'user': '数据库账号',
  101.         'password': '数据库密码',
  102.         'database': 'boos', #数据库名
  103.         'charset': 'utf8'
  104.     }
  105.     conn = pymysql.connect(**dbparams)
  106.     cur = conn.cursor()
  107.     return cur,conn
  109. #关闭数据库连接
  110. def close(cur,conn):
  111.     cur.close()
  112.     conn.close()
  114. #起始
  115. if __name__ == "__main__":
  116.     #print("="*40)
  117.     #防止请求频繁，关闭多余链接，可参考博主的文章
  118.     requests.DEFAULT_RETRIES = 5
  119.     s = requests.session()
  120.     s.keep_alive = False
  122.     #请求链接，只需更改url即可爬取自己想爬取的数据
  123.     start_url = "https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1"
  124.     response = requests.get(url=start_url, headers=headers,proxies=proxy)
  126.     time.sleep(2)
  127.     response.encoding = "utf-8"
  128.     # print("="*40)
  129.     #查看请求状态码，200为成功
  130.     print(response.status_code)
  131.     cur,conn = init_mysql()
  133.     #爬取数据
  134.     cur,conn = Crawling(cur,conn,response)
  136.     #关闭数据库连接
  137.     close(cur,conn)

图片辅助分析

图1
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图8
图2
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图9
图3
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图10
图4
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图11
图5
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图12
图6
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图13
图7
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图14
图8
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图15
图9
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图16
图10
Python爬虫实战：2020最新BOOS直聘爬取教程 - 图17

运行结果

Python爬虫实战：2020最新BOOS直聘爬取教程 - 图18

  1. 'NoneType' object has no attribute 'find_all'

BOOS直聘的反爬虫机制确实厉害，如果报以上错误，可以通过更换cookie或者更换代理IP来解决
实在不行，那就用不用代理ip了，还是用本机的，小技巧在上面已经教给大家了。
觉得博主写的不错的读者大大们，可以点赞关注和收藏哦，谢谢各位！

博主更多博客文章