实战题目

  1. 登录 http://www.51job.com
  2. 点击高级搜索
  3. 输入搜索关键词 python
  4. 地区选择 杭州
  5. 职能类别 选 计算机软件 -> 高级软件工程师
  6. 公司性质 选 上市公司
  7. 工作年限 选 1-3 年
  8. 搜索最新发布的职位， 抓取页面信息。 得到如下的格式化信息

Python开发工程师 | 杭州纳帕科技有限公司 | 杭州 | 0.8-1.6万/月 | 04-27
Python高级开发工程师 | 中浙信科技咨询有限公司 | 杭州 | 1-1.5万/月 | 04-27
Selenium系列（17） - Web UI 自动化基础实战（4） - 图1
Selenium系列（17） - Web UI 自动化基础实战（4） - 图2

代码思路（人为测试时的操作步骤）

  1. 点击【高级搜索】
  2. 关键字输入python
  3. 点击城市
  4. 显式等待，定位所有默认已选中的城市
  5. 取消选中它们
  6. 点击【北京】
  7. 点击【确定】
  8. 发现关键字输入框下方出现关键字历史记录，需要点击任意地方才能取消显示，所以随便找一个可点击元素进行点击
  9. 点击【职能类别输入框】
  10. 显式等待，点击【后端开发】
  11. 点击【高级软件工程师】
  12. 点击【确定】
  13. 点击【工作年限】，选择1-3年
  14. 点击【公司性质】，选择上市公式
  15. 点击【搜索】
  16. 定位职位列表，除了第一行
  17. 循环职位列表，获取每一行的信息存入列表
  18. 格式化输出

代码

  1. # !/usr/bin/env python
  2. # -*- coding: utf-8 -*-
  4. """
  5. __title__  =
  6. __Time__   = 2020/3/25 17:52
  7. __Author__ = 小菠萝测试笔记
  8. __Blog__   = https://www.cnblogs.com/poloyy/
  9. """
  10. from time import sleep
  11. from selenium import webdriver
  12. from selenium.webdriver.support.wait import WebDriverWait
  13. from selenium.webdriver.common.by import By
  14. from selenium.webdriver.support import expected_conditions as ec
  16. # 加载驱动
  17. driver = webdriver.Chrome("../resources/chromedriver.exe")
  20. def wait_element(driver, by_, element_, timeout=10):
  21.     element = WebDriverWait(driver, timeout=timeout).until(
  22.         ec.presence_of_element_located(
  23.             (by_, element_)
  24.         )
  25.     )
  26.     return element
  29. def wait_elements(driver, by_, element_, timeout=10):
  30.     element = WebDriverWait(driver, timeout=timeout).until(
  31.         ec.presence_of_all_elements_located(
  32.             (by_, element_)
  33.         )
  34.     )
  35.     return element
  38. # 加载驱动
  39. driver = webdriver.Chrome("../resources/chromedriver.exe")
  41. # 打开网站
  42. driver.get("http://www.51job.com")
  43. driver.maximize_window()
  45. # 高级搜索
  46. more_btn = wait_element(driver, By.CLASS_NAME, "more").click()
  48. # 职位框
  49. wait_element(driver, By.ID, "kwdselectid").send_keys("python")
  51. # 城市按钮
  52. driver.find_element_by_id("work_position_click").click()
  54. # layer
  55. layer = wait_element(driver, By.ID, "work_position_layer")
  56. # 城市列表
  57. city_list = wait_elements(driver, By.CSS_SELECTOR, "div#work_position_click_center_right_list_000000 table em.on")
  58. for city in city_list:
  59.     sleep(1)
  60.     city.click()
  62. # 杭州
  63. wait_element(driver, By.ID, "work_position_click_center_right_list_category_000000_080200").click()
  65. # 确认
  66. wait_element(driver, By.ID, "work_position_click_bottom_save").click()
  68. # form
  69. wait_element(driver, By.CSS_SELECTOR, "div#historylist>div.r1").click()
  71. # 职能类别
  72. wait_element(driver, By.ID, "funtype_click").click()
  74. # 职能弹窗
  75. type_layer = wait_element(driver, By.ID, "funtype_layer")
  77. # 后端开发
  78. wait_element(driver, By.ID, "funtype_click_center_right_list_category_0100_0100").click()
  80. # f如果有已选列表，取消选择
  81. flag = wait_element(driver, By.ID, "funtype_click_multiple_selected")
  82. if flag.text:
  83.     # 已选列表
  84.     type_list = wait_elements(driver, By.CSS_SELECTOR, "div#funtype_click_multiple_selected>span")
  85.     for types in type_list:
  86.         if types.text == "高级软件工程师":
  87.             continue
  88.         em = types.find_element_by_tag_name("em")
  89.         em.click()
  91. # 高级软件工程师
  92. wait_element(driver, By.ID, "funtype_click_center_right_list_sub_category_each_0100_0106").click()
  94. # 确定
  95. driver.find_element_by_id("funtype_click_bottom_save").click()
  97. # 公司性质
  98. company = wait_element(driver, By.ID, "cottype_list")
  99. company.click()
  101. # 列表
  102. ctype_list = company.find_elements_by_css_selector("div.ul > span")
  103. for ctype in ctype_list:
  104.     # 外资（欧美）没有数据
  105.     if ctype.text == "上市公司":
  106.         ctype.click()
  107.         break
  109. # 工作年限
  110. workyear_list = wait_element(driver, By.ID, "workyear_list")
  111. workyear_list.click()
  113. # 列表
  114. wlist = workyear_list.find_elements_by_css_selector("div.ul > span")
  115. for wtype in wlist:
  116.     if wtype.text == "1-3年":
  117.         wtype.click()
  118.         break
  120. # 搜索按钮
  121. wait_element(driver, By.CSS_SELECTOR, "div.btnbox > span.p_but").click()
  123. # 职位列表
  124. resultList = wait_elements(driver, By.CSS_SELECTOR, "div#resultList>div.el")[1:]
  125. for res in resultList:
  126.     spans = res.find_elements_by_tag_name("span")
  127.     texts = [x.text for x in spans]
  128.     # 最终输出
  129.     print(" | ".join(texts))
  131. sleep(10)
  132. driver.quit()

转载： https://www.cnblogs.com/poloyy/p/12632106.html