环境搭建

Chrome浏览器 + chromedriver + selenium

选择浏览器版本

谷歌浏览器地址 https://www.chromedownloads.net/

选择驱动

切记不要点击帮助下面的“关于Google Chrome（G）”,否则就会自动升级
image.png
浏览器不要选择较新的版本，驱动可能还没更新或不稳定。

Selenium基础用法

  1. from selenium import webdriver
  2. from lxml import etree
  3. from time import sleep
  5. #实例化一个浏览器对象（传入浏览器的驱动成）
  6. bro = webdriver.Chrome(executable_path='./chromedriver')
  7. #让浏览器发起一个指定url对应请求
  8. bro.get('http://125.35.6.84:81/xk/')
  10. #page_source获取浏览器当前页面的页面源码数据
  11. page_text = bro.page_source
  13. #解析企业名称
  14. tree = etree.HTML(page_text)
  15. li_list = tree.xpath('//ul[@id="gzlist"]/li')
  16. for li in li_list:
  17.     name = li.xpath('./dl/@title')[0]
  18.     print(name)
  20. sleep(5)
  21. bro.quit()

Selenium自动化

  1. from selenium import webdriver
  2. from time import sleep
  3. bro = webdriver.Chrome(executable_path='./chromedriver')
  5. bro.get('https://www.taobao.com/')
  7. #标签定位
  8. search_input = bro.find_element_by_id('q')  # 比较推荐find_element_by_xpath
  9. #标签交互
  10. search_input.send_keys('Iphone')
  13. #执行一组js程序
  14. bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
  15. sleep(2)
  16. #点击搜索按钮
  17. btn = bro.find_element_by_css_selector('.btn-search')
  18. btn.click()
  21. bro.get('https://www.baidu.com')
  22. sleep(2)
  23. #回退
  24. bro.back()
  25. sleep(2)
  26. #前进
  27. bro.forward()
  30. sleep(5)
  32. bro.quit()
  1. # 动作链和iframe处理
  2. from selenium import webdriver
  3. from time import sleep
  4. #导入动作链对应的类
  5. from selenium.webdriver import ActionChains
  6. bro = webdriver.Chrome(executable_path='./chromedriver')
  8. bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
  10. #如果定位的标签是存在于iframe标签之中的则必须通过如下操作在进行标签定位
  11. bro.switch_to.frame('iframeResult')#切换浏览器标签定位的作用域
  12. div = bro.find_element_by_id('draggable')
  14. #动作链
  15. action = ActionChains(bro)
  16. #点击长按指定的标签
  17. action.click_and_hold(div)
  19. for i in range(5):
  20.     #perform()立即执行动作链操作
  21.     #move_by_offset(x,y):x水平方向 y竖直方向
  22.     action.move_by_offset(17,0).perform()
  23.     sleep(0.5)
  25. #释放动作链
  26. action.release()
  28. bro.quit()

规避检测

  1. from selenium import webdriver
  2. from time import sleep
  3. #实现无可视化界面
  4. from selenium.webdriver.chrome.options import Options
  5. #实现规避检测
  6. from selenium.webdriver import ChromeOptions
  8. #实现无可视化界面的操作
  9. chrome_options = Options()
  10. chrome_options.add_argument('--headless')
  11. chrome_options.add_argument('--disable-gpu')
  13. #实现规避检测
  14. option = ChromeOptions()
  15. option.add_experimental_option('excludeSwitches', ['enable-automation'])
  17. #如何实现让selenium规避被检测到的风险
  18. bro = webdriver.Chrome(executable_path='./chromedriver',chrome_options=chrome_options,options=option)
  20. #无可视化界面（无头浏览器） phantomJs
  21. bro.get('https://www.baidu.com')
  23. print(bro.page_source)
  24. sleep(2)
  25. bro.quit()

模拟登录qq空间

  1. from selenium import webdriver
  2. from time import sleep
  4. bro = webdriver.Chrome(executable_path='./chromedriver')
  6. bro.get('https://qzone.qq.com/')
  8. bro.switch_to.frame('login_frame')
  10. a_tag = bro.find_element_by_id("switcher_plogin")
  11. a_tag.click()
  14. userName_tag = bro.find_element_by_id('u')
  15. password_tag = bro.find_element_by_id('p')
  16. sleep(1)
  17. userName_tag.send_keys('598779794')
  18. sleep(1)
  19. password_tag.send_keys('123456789')
  20. sleep(1)
  21. btn = bro.find_element_by_id('login_button')
  22. btn.click()
  24. sleep(3)
  26. bro.quit()