1.Selenium

1.什么是selenium？

（1）Selenium是一个用于Web应用程序测试的工具。
（2）Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。
（3）支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动
真实浏览器完成测试。
（4）selenium也是支持无界面浏览器操作的。

2、Selenium相当于机器人

基于以上的Selenium的描述，我们知道Selenium可以模拟人的操作，比如鼠标点击，搜索栏搜索，切换页面等操作。模拟浏览器功能，自动执行网页中的js代码，实现动态加载

3.如何安装selenium？

（1）操作谷歌浏览器驱动下载地址
链接
（2）谷歌驱动和谷歌浏览器版本之间的映射表
链接
（3）查看谷歌浏览器版本
谷歌浏览器右上角‐‐>帮助‐‐>关于
（4）pip install selenium

4.selenium的使用步骤？

  1. （1）导入：from selenium import webdriver 
  2. （2）创建谷歌浏览器操作对象： 
  3.     path = 谷歌浏览器驱动文件路径 
  4.     browser = webdriver.Chrome(path) 
  5. （3）访问网址 
  6.     url = 要访问的网址 browser.get(url)

4‐1：selenium的元素定位？

元素定位：自动化要做的就是模拟鼠标和键盘来操作来操作这些元素，点击、输入等等。操作这些元素前首先 要找到它们，WebDriver提供很多定位元素的方法
方法：

  1. 1.find_element_by_id 
  2.     eg:button = browser.find_element_by_id('su') 
  3. 2.find_elements_by_name 
  4.     eg:name = browser.find_element_by_name('wd') 
  5. 3.find_elements_by_xpath 
  6.     eg:xpath1 = browser.find_elements_by_xpath('//input[@id="su"]') 
  7. 4.find_elements_by_tag_name 
  8.     eg:names = browser.find_elements_by_tag_name('input') 
  9. 5.find_elements_by_css_selector 
  10.     eg:my_input = browser.find_elements_by_css_selector('#kw')[0] 
  11. 6.find_elements_by_link_text 
  12.     eg:browser.find_element_by_link_text("新闻")

4‐2:访问元素信息

获取元素属性
.get_attribute(‘class’)
获取元素文本
.text
获取标签名
.tag_name

4‐3:交互

点击:click()
输入:send_keys()
后退操作:browser.back()
前进操作:browser.forword()
模拟JS滚动:
js=’document.documentElement.scrollTop=100000’
browser.execute_script(js) 执行js代码
获取网页代码：page_source
退出：browser.quit()
4.5：汇总

  1. 1.浏览器对象（browser）方法
  2.     browser=webdriver.Chrome(executable_path=") 
  3.     #创建browser浏览器对象，executable_path="是chromeDriver的存放地址，
  4.     #如果你把它放到了python的script可以不用写
  5.     browser.get(url) #打开浏览器并输入url
  6.     browser.page_source #返回browser的网页源码
  7.     browser.page_source.find('字符串') #在网页源码中找到某字符串，没有找到返回-1
  8.     browser.quit() #关闭浏览器
  9. 2.定位结点（单元素，返回一条结果，返回类型为string）
  10.     browser=webdriver.Chrome() #生成对象后使用
  12.     browser.find_element_by_id('')  #通过标签的id值来找元素
  14.     browser.find_element_by_name('')  #通过标签的name值来找元素
  16.     browser.find_element_by_class_name('')  #通过标签的class_name值来找元素
  18.     browser.find_element_by_xpath('')  #通过xpath匹配来找元素
  20.     browser.find_element_by_link_text('')  #通过连接地址找元素
  21. 3.定位结点（多元素，返回多个结果，返回类型为集合）
  22.     与返回单元素的差别是在element后面多加一个s
  24.     browser=webdriver.Chrome() #生成对象后使用
  26.     browser.find_elements_by_id('')  #通过标签的id值来找元素
  28.     browser.find_elements_by_name('')  #通过标签的name值来找元素
  30.     browser.find_elements_by_class_name('')  #通过标签的class_name值来找元素
  32.     browser.find_elements_by_xpath('')  #通过xpath匹配来找元素
  34.     browser.find_elements_by_link_text('')  #通过连接地址找元素
  35. 4.无界面模式（无头模式）
  36.     Selenium正常情况下会打开浏览器，这样比较消耗资源，可以设置无界面模式，如下：
  37.     options=webdriver.ChromeOptions()
  38.     options.add_argument("--headless")
  39.     browser=webdriver.Chrome(options=options)
  40. 5，Selenium键盘操作
  41.     需要导入模块：from selenium.webdriver.common.keys import Keys
  42.     browser=webdriver.Chrome() #生成对象后使用
  44.     browser.find_element_by_id('搜索框的id').send_keys('搜索内容')  # 在搜索框中输入
  46.     browser.find_element_by_id('搜索框的id').send_keys(Keys.SPACE)  # 输入空格
  48.     # 模拟全选中 Ctrl+a  
  49.     browser.find_element_by_id('搜索框的id').send_keys(Keys.CONTROL,'a')  
  50.     # # 模拟复制 Ctrl+c 
  51.     browser.find_element_by_id('搜索框的id').send_keys(Keys.CONTROL,'c') 
  52.     # 模拟粘贴 Ctrl+v
  53.     browser.find_element_by_id('搜索框的id').send_keys(Keys.CONTROL,'v')  
  55.     browser.find_element_by_id('搜索框的id').send_keys(Keys.ENTER)  # 模拟回车
  56. 6，Selenium鼠标操作
  57.     需要导入模块：from selenium.webdriver import ActionChains
  59.     browser=webdriver.Chrome() #生成对象后使用
  61.     element=browser.find_element_by_xpath('')
  63.     ActionChains(browser).move_to_element(element).perform() #将鼠标移动到某个地方
  65.     browser.find_element_by_link_text('').click() #点击匹配的内容
  66. 7，切换页面
  67. 用于在页面之间互相切换，在Selenium里，一个页面叫做一个句柄，要切换页面，首先要获取到所有页面，
  68.  也就是获取到所有句柄，获取到句柄后通过索引值切换，索引值从0开始，对应页面的顺序
  70. all_handle=browser.window_handles #获取所有句柄
  72. browser.switch_to.window(all_handle[索引值])  #切换句柄
  76. 8，子页面切换
  77.     有的时候一个页面下会嵌套子页面，如iframe，常见的如登录界面，如果有Selenium找某这
  78.     个元素没有找到，大概率是当前页面下嵌有子页面，需要先跳转到子页面才可以抓。方法：
  79.     iframe=browser.find_element_by_id('') # by_id by_name by_xpah 都可以，只要标识到iframe
  80.     browser.switch_to.frame(iframe) # 跳转到子页面

5.使用

1.selenium_基本使用

  2. # （1）导入selenium
  3. from selenium import webdriver
  5. # (2) 创建浏览器操作对象
  7. path = 'chromedriver.exe'
  9. browser = webdriver.Chrome(path)
  11. # （3）访问网站
  12. # url = 'https://www.baidu.com'
  13. #
  14. # browser.get(url)
  16. url = 'https://www.jd.com/'
  18. browser.get(url)
  20. # page_source获取网页源码
  21. content = browser.page_source
  22. print(content)

2.selenium_元素定位



from selenium import webdriver

path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

url = 'https://www.baidu.com'
browser.get(url)

# 元素定位

# 根据id来找到对象
# button = browser.find_element_by_id('su')
# print(button)

# 根据标签属性的属性值来获取对象的
# button = browser.find_element_by_name('wd')
# print(button)

# 根据xpath语句来获取对象
# button = browser.find_elements_by_xpath('//input[@id="su"]')
# print(button)

# 根据标签的名字来获取对象
# button = browser.find_elements_by_tag_name('input')
# print(button)

# 使用的bs4的语法来获取对象
# button = browser.find_elements_by_css_selector('#su')
# print(button)

# button = browser.find_element_by_link_text('直播')
# print(button)

3.selenium_元素信息



from selenium import webdriver

path = 'chromedriver.exe'
browser = webdriver.Chrome(path)


url = 'http://www.baidu.com'
browser.get(url)


input = browser.find_element_by_id('su')

# 获取标签的属性
print(input.get_attribute('class'))
# 获取标签的名字
print(input.tag_name)

# 获取元素文本
a = browser.find_element_by_link_text('新闻')
print(a.text)

4.selenium_交互



from selenium import webdriver

# 创建浏览器对象
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

# url
url = 'https://www.baidu.com'
browser.get(url)

import time
time.sleep(2)

# 获取文本框的对象
input = browser.find_element_by_id('kw')

# 在文本框中输入周杰伦
input.send_keys('周杰伦')

time.sleep(2)

# 获取百度一下的按钮
button = browser.find_element_by_id('su')

# 点击按钮
button.click()

time.sleep(2)

# 滑到底部
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)

time.sleep(2)

# 获取下一页的按钮
next = browser.find_element_by_xpath('//a[@class="n"]')

# 点击下一页
next.click()

time.sleep(2)

# 回到上一页
browser.back()

time.sleep(2)

# 回去
browser.forward()

time.sleep(3)

# 退出
browser.quit()

6.案例

# （1）导入selenium
from selenium import webdriver
import time
# (2) 创建浏览器操作对象
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)
browser.get("https://www.maoyan.com/board/4")
# 死循环，退出条件为找不到下一页
while True:
    # 等待2秒再匹配内容
    time.sleep(8)
    # 匹配文本内容
    lists = browser.find_elements_by_xpath('//*[@id="app"]/div/div/div[1]/dl/dd')
    # 输出文本内容
    for i in lists:
        print(i.text)
        print('-' * 50)
    try:
        # 进入下一页
        next_page = browser.find_element_by_link_text('下一页').click()
    except Exception as e:
        browser.quit()
        break

#QQ邮箱登录 其是内嵌页
# browser = webdriver.Chrome(path)
# browser.get("https://mail.qq.com/")
# # 跳到子页面
# iframe = browser.find_element_by_id('login_frame')
# browser.switch_to.frame(iframe)
# browser.find_element_by_id('u').send_keys('账号')
# browser.find_element_by_id('p').send_keys('密码')
# browser.find_element_by_id('login_button').click()

2.Phantomjs

1.什么是Phantomjs？

（1）是一个无界面的浏览器
（2）支持页面元素查找，js的执行等
（3）由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多

2.如何使用Phantomjs？

（1）获取PhantomJS.exe文件路径path
（2）browser = webdriver.PhantomJS(path)
（3）browser.get(url)
扩展：保存屏幕快照:browser.save_screenshot(‘baidu.png’)

3.phantomjs的基本使用

from selenium import webdriver
#存放在项目目录下
path = 'phantomjs.exe'
browser = webdriver.PhantomJS(path)
url = 'https://www.baidu.com'
browser.get(url)
browser.save_screenshot('baidu.png')
import time
time.sleep(2)
input = browser.find_element_by_id('kw')
input.send_keys('美女')
time.sleep(3)
browser.save_screenshot('girl.png')

image.png

3.Chrome handless

Chrome-headless 模式， Google 针对 Chrome 浏览器 59版 新增加的一种模式，可以让你不打开UI界面的情况下 ，使用 Chrome 浏览器，所以运行效果与 Chrome 保持完美一致。
1.系统要求：
Chrome
Unix\Linux 系统需要 chrome >= 59
Windows 系统需要 chrome >= 60
Python3.6
Selenium==3.4.*
ChromeDriver==2.31
2.使用：

from selenium import webdriver
import time

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def share_browser():
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')

    # path是你自己的chrome浏览器的文件路径
    path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'
    chrome_options.binary_location = path

    browser = webdriver.Chrome(chrome_options=chrome_options)
    return browser

browser = share_browser()

url = 'https://www.baidu.com'

browser.get(url)
button = browser.find_element_by_id('su')
print(button.get_attribute("value"))

image.png