(一)request 的安装
由于request 属于第三方库,python 默认不会带这个库, 所以需要我们手动进行安装。
相关链接:
- Github:https://github.com/requests/requests
- PyPI:https://pypi.python.org/pypi/requests
- 中文文档:https://selenium-python-zh.readthedocs.io/en/latest/
安装方法
(1) pip 安装
无论是windwos 还是linux ,都可以通过pip 这个管理工具来安装。
在命令行界面运行如下命令,即可完成requests 库的安装。
pip3 install requests
(2)wheel安装
wheel 是 python的一种安装包,其后缀为 .whl,在网速较差的情况下可以选择下载 wheel 文件再安装,然后直接用 pip3 命令加文件名安装即可。
在此之前需要安装 wheel库,安装命令如下:
pip3 install wheel
然后直接到 PyPI 上下载对应的 wheel文件,举个例子: https://pypi.python.org/pypi/requests/2.17.3
随后在命令行界面进入 wheel 目录,利用 pip 安装即可
pip3 install requests-2.17.3-py2.py3-none-any.whl
(3)源码安装
如果你不想使用 pip 来安装,或者想要安装某一特定的版本, 可以选择下载源码进行安装。
此方式需要先找到此库的源码地址, 然后下载下来在用命令安装。
项目地址:https://github.com/psf/requests
可以通过Git 来下载源码:
git clone https://github.com/psf/requests.git
下载下来之后,进入目录,执行命令即可安装
cd requestspython3 setup.py install
验证是否安装 成功, 首先输入python3 ,进入命令行模式,输入以下内容,如果什么错误提示也没有的话, 证明已经安装成功。
python3import requests
(二)Selenium的安装
Selenium 是一个自动化的测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等操作。对于一些 JavaScript 渲染的界面来说,这种抓取方式非常有效。
相关链接:
- 官方网站:http://www.seleniumhq.org
- Github:https://github.com/SeleniumHQ/selenium/tree/trunk/py
- PyPI:https://pypi.org/project/selenium/
- 中文文档:https://selenium-requests.org/zh_CN/latest/
安装方法
(1) pip 安装
无论是windwos 还是linux ,都可以通过pip 这个管理工具来安装。
在命令行界面运行如下命令,即可完成requests 库的安装。
pip3 install selenium
(2)wheel安装
wheel 是 python的一种安装包,其后缀为 .whl,在网速较差的情况下可以选择下载 wheel 文件再安装,然后直接用 pip3 命令加文件名安装即可。
在此之前需要安装 wheel库,安装命令如下:
pip3 install wheel
然后直接到 PyPI 上下载对应的 wheel文件, https://pypi.org/project/selenium/。
随后在命令行界面进入 wheel 目录,利用 pip 安装即可
pip3 install selenium-4.0.0-py3-none-any.whl
验证是否安装 成功, 首先输入python3 ,进入命令行模式,输入以下内容,如果什么错误提示也没有的话, 证明已经安装成功。
python3import selenium
(三) ChromeDriver的安装
我们需要安装ChromeDriver, 才能驱动Chrome 浏览器完成响应的操作。
相关链接:
- 官方网站:https://sites.google.com/chromium.org/driver/
- 下载地址:http://chromedriver.storage.googleapis.com/index.html
安装方法
- 查看Chrome版本
点击 Chrome 菜单 “帮助” ——> “关于 Google Chrome”,即可查看chrome 的版本号
这里我的 Chrome 版本是95,需要记住版本号信息,选择 ChromeDriver 版本时需要用到
- 下载ChromeDriver
打开 ChromeDriver 的官方网站, 可以看到其支持的Chrome 浏览器版本为95.0.4638。
找到对应的版本进行下载即可。
- 环境变量配置
下载完成之后,将 ChromeDriver的 可执行文件配置到环境变量下。
在Windows 下,直接将 ChromeDriver.exe 文件拖到 Python的 Scripts 目录下。
验证是否能够使用, 执行如下 python 代码
from selenium import webdriverbrowser = webdriver.Chrome()
运行之后,如果弹出一个空白的 Chrome浏览器,则证明所有的配置都没有问题,如果没有弹出,请检查之前的配置。
如果弹出后闪退,则可能是 ChromeDriver 版本和 Google 版本不兼容,请更换 ChromDriver 版本。
(四)GeckoDriver的安装
对于firefox 来说, 可以使用同样的方式完成 selenium的对接,需要安装另一个驱动 GeckoDriver。
相关链接:
- Github:https://github.com/mozilla/geckodriver
- 下载地址:https://github.com/mozilla/geckodriver/releases/tag/v0.30.0
准备工作:在这之前需要正确的安装好 Firefox 浏览器并可以正常运行。
在 github 上找到 GeckoDriver 的发行版本,当前的最新版本为0.30
下载完成之后,将GeckoDriver 的 可执行文件配置到环境变量下。
在Windows 下,直接将 GeckoDriver.exe 文件拖到 Python的 Scripts 目录下。
验证是否能够使用, 执行如下 python 代码
from selenium import webdriverbrowser = webdriver.Firefox()
运行之后,如果弹出一个空白的 Firefox浏览器,则证明所有的配置都没有问题,如果没有弹出,请检查之前的配置。
(五)PhantomJS的安装
PhantomJS 是一个无界面的、可脚本编程的 WwebKit 浏览器引擎,它原生支持多种 Web 标准:DOM操作,CSS选择器、JSON 、Canvas 以及 SVG。
selenium 支持 PhantomJS ,这样在运行的时候就不会弹出一个浏览了。而且PhantomJS 的运行效率很高,还支持各种参数配置,使用非常方便。
相关链接:
- 官方网站: https://phantomjs.org/
- 官方文档:https://phantomjs.org/quick-start.html
- 下载地址:https://phantomjs.org/download.html
- API接口说明:https://phantomjs.org/api/command-line.html
下载PhantomJS ,在官方网站下载对应的安装包,在Windows 下,直接将 /bin文件夹下的可执行 PhantomJS.exe 文件拖到 Python的 Scripts 目录下。
验证是否能够使用, 执行如下 python 代码
from selenium import webdriverbrowser = webdriver.PhantomJS()browser.get('https://www.baidu.com')print(browser.current_url)
运行之后,发现不会有浏览器弹出,但实际上PhantomJS已经运行起来。这里我们访问了百度 ,然后控制台会输出当前的URL。
注意事项:新版的 selenium已经放弃PhantomJS
1.先把selenium卸载,代码如下:
pip uninstall selenium
2.安装selenium==2.48.0版本的,代码如下:
pip install selenium==2.48.0
(六)aiohttp的安装
之前介绍的 requests 库是一个阻塞式的HTTP请求库, 但我们发出一个请求后,程序会一直等待服务器响应,直到响应后,程序才会进行下一步处理。 那么这个过程就比较浪费时间。
aiohttp 就是一个提供异步Web 服务的库,从 Pythton3.5版本开始, Python 中加入了 async / await 关键字,使得回调的写法更加人性化。 aiohttp的异步操作借助于 async / await 关键字的写法变得更加方便,架构更清晰。
相关链接:
- 官方文档:https://docs.aiohttp.org/en/stable/
- GitHub:https://github.com/aio-libs/aiohttp
- PyPI:https://pypi.org/project/aiohttp-utils/3.0.0/
pip 安装
pip3 install aiohttp
另外,官方还推荐安装 如下 两个库, 一个是字符编码检测库 cchardet , 另一个是加速 dns 的解析库 aiodns。
pip3 install cchardet aiodns
测试安装:
安装完成之后,可以在 python 命令行中测试:
python3import aiohtpp
如果没有任何错误报出,那么说明 airhttp 库安装好了。
