Selenium模块

  • 便捷的获取网站中动态加载的数据
  • 便捷实现模拟登录

基于浏览器自动化的一个模块

selenium使用流程：

  • 模块安装
  • 下载驱动程序，chromedriver
  • 实例化一个浏览器对象
  • 编写实现自动化的代码
  1. # 药监局案例
  2. from selenium import webdriver
  3. from lxml import etree
  5. bro = webdriver.Chrome(executable_path='./chromedriver')
  6. # 让浏览器发起一个指定url请求
  7. bro.get('url')
  8. page_text = bro.page_source
  10. # 解析企业名称
  11. tree = etree.HTML(page_text)
  12. li_list = tree.xpath('//ul[@id="gzlist"]/li')
  13. for li in li_list:
  14.     li.xpath('./dl/@title')[0]
  15.     print(name)
  16. sleep(5)
  17. bro.quit()
  19. bro.get('https://www.taobao.com/')
  21. # 标签定位
  22. search_input = bro.find_element_by_id('q')
  23. # 标签交互
  24. search_input.send_keys('Iphone')
  26. # 点击搜索按钮
  27. btn = bro.find_element_by_css_selector('.btn-search')
  28. btn.click()
  30. sleep(5)
  31. bro.quit()

python+selenium自动化测试

设置鼠标，键盘事件

1、设置鼠标事件 （这些方法封装在ActionChains类中）

  1. from selenium.webdriver.common.action_chains import ActionChains  
  2. #鼠标悬停 
  3. above = driver.find_element_by_link_text('体育')ActionChains(driver).move_to_element(above).perform() 
  4. #右键点击 
  5. right_click = driver.find_element_by_link_text('科技')ActionChains(driver).context_click(right_click).perform() 
  6. #双击事件 
  7. double_click = driver.find_element_by_link_text('游戏')ActionChains(driver).double_click(double_click).perform()
  8. #鼠标拖放事件 
  9. element = driver.find_element_by_link_text('汽车')    
  10. #鼠标拖动的源元素 
  11. target = driver.find_element_by_id('ww')       
  12. #鼠标拖动的目标元素 
  13. ActionChains(driver).drag_and_drop(element,target).perform()
  14. 6、将.py文件打包成exe文件用pip安装pyinstaller， pip install pyinstaller然后点击需要打包的文件夹，右键+shift，在命令窗口输入pyinstaller -F 文件名.py 打包后的exe文件出现在 dist 文件夹中2、设置键盘事件（这些方法封装在Keys类中）
  15. from selenium.webdriver.common.keys import Keys    
  16. #设置键盘事件 #键盘删除事件 
  17. driver.find_element_by_id('kw').send_keys('Selenium2.00')time.sleep(5)driver.find_element_by_id('kw').send_keys(Keys.BACKSPACE) 
  18. #空格事件 
  19. driver.find_element_by_id('kw').send_keys(Keys.SPACE)time.sleep(5)  driver.find_element_by_id('kw').send_keys('Selenium2.00') 
  20. #全选事件 
  21. driver.find_element_by_id('kw').send_keys(Keys.CONTROL,'a')   time.sleep(3) 
  22. #复制事件 
  23. driver.find_element_by_id('kw').send_keys(Keys.CONTROL,'c')   time.sleep(3)driver.get(second_url='http://www.hao123.com') 
  24. #粘贴事件 
  25. driver.find_element_by_id('search-input').send_keys(Keys.CONTROL,'v')   time.sleep(2)driver.find_element_by_class_name('button-hook').click()

模拟登录豆瓣

要点：

  • 要切换到iframe才能定位到里面的元素

第一阶段：中间需手动滑动验证码

  1. # encoding: utf-8
  2. """
  3. @author: linpions
  4. @software: PyCharm
  5. @file: 豆瓣网登录.py
  6. @time: 2021-12-27 19:55
  7. """
  8. import time
  10. import requests
  11. from selenium import webdriver
  13. url = "https://www.douban.com/"
  14. username = 'username'
  15. password = 'password'
  16. browser = webdriver.Chrome(r'C:\Users\Administrator\Desktop\LK_Projs\LearningSpider\selenium基础\chromedriver.exe')
  19. def login():
  20.     """通过selenium登录豆瓣"""
  21.     browser.get(url)
  22.     time.sleep(2)
  23.     browser.switch_to.frame(browser.find_element_by_tag_name('iframe'))  # 切换到iframe
  24.     # 找到密码登录的元素
  25.     login_ele = browser.find_element_by_xpath('/html/body/div[1]/div[1]/ul[1]/li[2]')
  26.     login_ele.click()
  28.     username_ele = browser.find_element_by_xpath("//*[@id='username']")
  29.     password_ele = browser.find_element_by_xpath("//*[@id='password']")
  30.     username_ele.send_keys(username)
  31.     password_ele.send_keys(password)
  33.     submit_btn = browser.find_element_by_xpath("/html/body/div[1]/div[2]/div[1]/div[5]/a")
  34.     submit_btn.click()
  36.     time.sleep(2)
  37.     cookies = browser.get_cookies()
  38.     cookie_dict = {}
  39.     for item in cookies:
  40.         cookie_dict[item['name']] = item['value']
  41.     print(browser.get_cookies())  # 获取登录后cookie
  43.     res = requests.get(url, cookies=cookie_dict)
  44.     print(res.text)
  45.     if "bobby_liyao" in res.text:
  46.         print("已经登录")
  49. if __name__ == '__main__':
  51.     login()

第二阶段：待定

模拟登录B站—滑动验证码

破解方案：

  1. 鼠标移动到正确的元素上，显示出没有缺口的图片并下载
  2. 点击元素显示出有缺口的图片并下载
  3. 对比两张图片找出缺口的移动像素
  4. 拖动元素