selenium

1比1模仿浏览器访问页面，是有界面的

  1. import urllib.request
  2. from selenium import webdriver
  3. #创建浏览器操作对象
  4. path = 'msedgedriver.exe'
  5. #创建浏览器
  6. browser = webdriver.Edge(path)
  7. #访问网站
  8. base_url = 'https://www.jd.com'
  9. #打开页面
  10. browser.get(base_url)
  11. #page_source获取网页源码
  12. content = browser.page_source
  13. print(content)
  15. from selenium import webdriver
  16. #设置文件路径
  17. path = 'msedgedriver.exe'
  18. #设置模拟浏览器
  19. browser = webdriver.Edge(path)
  20. base_url = 'https://www.baidu.com'
  21. #访问网页
  22. browser.get(base_url)
  23. #元素定位
  25. #根据id找到对象 ★
  26. button = browser.find_element_by_id('su')
  27. print(button)
  29. #根据标签属性的属性值来获取对象的
  30. button = browser.find_element_by_name('wd')
  31. print(button)
  33. #根据xpath语句来获取对象 ★
  34. button = browser.find_element_by_xpath('//input[@id="su"]')
  35. print(button)
  37. #根据标签名字来获取对象
  38. button = browser.find_element_by_tag_name('input')
  39. print(button)
  41. #使用bs4的语法来实现的 ★
  42. button = browser.find_element_by_css_selector('#su')
  43. print(button)
  45. #根据a标签的名称获取对象
  46. button = browser.find_element_by_link_text('直播')
  47. print(button)
  49. from selenium import webdriver
  50. #设置文件路径
  51. path = 'msedgedriver.exe'
  52. browser = webdriver.Edge(path)
  53. #设置访问的网页
  54. base_url ='http://www.baidu.com'
  55. #开始访问网页
  56. browser.get(base_url)
  57. #获取元素一些变量
  58. input = browser.find_element_by_id('su')
  59. #获取元素属性
  60. print(input.get_attribute('class'))
  61. #获取元素文本
  62. a = browser.find_element_by_link_text('新闻')
  63. print(a.text)
  64. #获取元素tag标签
  65. print(input.tag_name)
  68. from selenium import webdriver
  69. import time
  70. #创建浏览器对象
  71. path = 'msedgedriver.exe'
  72. #设置需要用到的浏览器类型
  73. browser = webdriver.Edge(path)
  75. #设置需要打开的url
  76. base_url = 'https://www.baidu.com'
  77. browser.get(base_url)
  78. #当打开浏览器时休息两秒
  79. time.sleep(2)
  80. #获取文本框的对象
  81. input = browser.find_element_by_id('kw')
  82. #在文本框输入周杰伦
  83. input.send_keys('周杰伦')  #发送一个值为周杰伦
  84. time.sleep(2)
  85. #获取百度一下的按钮
  86. button = browser.find_element_by_id('su')
  87. #点击按钮
  88. button.click()
  89. time.sleep(2)
  90. #滑倒底部
  91. js_bottom = 'document.documentElement.scrollTop=100000'
  92. browser.execute_script(js_bottom)
  93. time.sleep(2)
  94. #获取下一页那妞
  95. next_page = browser.find_element_by_xpath('//a[@class="n"]')
  96. #点击下一页
  97. next_page.click()
  98. time.sleep(2)
  99. #回到上一页
  100. browser.back()
  101. time.sleep(2)
  102. #再次回去
  103. browser.forward()
  104. time.sleep(2)
  105. #退出
  106. browser.quit()

常用定位八大元素

  1. # id id数值定位
  2. driver.find_element(By.ID, 'kw').send_keys("蕾姆")
  3. # name name数值定位
  4. driver.find_element(By.NAME, 'wd').send_keys("蕾姆")
  5. # link_text 超链接名称定位
  6. driver.find_element(By.LINK_NAME, '新闻').click()
  7. # partail_link_text 模糊超链接名称定位
  8. driver.find_element(By.PARTAIL_LINK_NAME, '新闻').click()
  9. # xpath 定位
  10.     # 1 索引定位
  11.     //from/span[1]/input
  12.     # 2 属性定位
  13.     //input[@autocomplete='off']
  14.     # 3 通配符定位
  15.     //*[@autocomplete='off']
  16.     //*[*='off']
  17.     # 4 部分属性值定位
  18.     //*[start-with(@autocomplete,'of')]    # 属性以of开头的元素
  19.     //*[substring(@autocomplete,2)=='ff'] # 以xx结尾
  20.     //*[contains(@autocomplete,'of')]    # 包含of
  21.     # 5 文本定位
  22.     //span[text()='文本']