(一)request 的安装

由于request 属于第三方库,python 默认不会带这个库, 所以需要我们手动进行安装。

相关链接:

安装方法

(1) pip 安装

无论是windwos 还是linux ,都可以通过pip 这个管理工具来安装。
在命令行界面运行如下命令,即可完成requests 库的安装。

  1. pip3 install requests

(2)wheel安装

wheel 是 python的一种安装包,其后缀为 .whl,在网速较差的情况下可以选择下载 wheel 文件再安装,然后直接用 pip3 命令加文件名安装即可。

在此之前需要安装 wheel库,安装命令如下:

  1. pip3 install wheel

然后直接到 PyPI 上下载对应的 wheel文件,举个例子: https://pypi.python.org/pypi/requests/2.17.3
image.png
随后在命令行界面进入 wheel 目录,利用 pip 安装即可

  1. pip3 install requests-2.17.3-py2.py3-none-any.whl

(3)源码安装

如果你不想使用 pip 来安装,或者想要安装某一特定的版本, 可以选择下载源码进行安装。
此方式需要先找到此库的源码地址, 然后下载下来在用命令安装。

项目地址:https://github.com/psf/requests

可以通过Git 来下载源码:

  1. git clone https://github.com/psf/requests.git

下载下来之后,进入目录,执行命令即可安装

  1. cd requests
  2. python3 setup.py install

验证是否安装 成功, 首先输入python3 ,进入命令行模式,输入以下内容,如果什么错误提示也没有的话, 证明已经安装成功。

  1. python3
  2. import requests

(二)Selenium的安装

Selenium 是一个自动化的测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等操作。对于一些 JavaScript 渲染的界面来说,这种抓取方式非常有效。

相关链接:

安装方法

(1) pip 安装

无论是windwos 还是linux ,都可以通过pip 这个管理工具来安装。
在命令行界面运行如下命令,即可完成requests 库的安装。

  1. pip3 install selenium

(2)wheel安装

wheel 是 python的一种安装包,其后缀为 .whl,在网速较差的情况下可以选择下载 wheel 文件再安装,然后直接用 pip3 命令加文件名安装即可。

在此之前需要安装 wheel库,安装命令如下:

  1. pip3 install wheel

然后直接到 PyPI 上下载对应的 wheel文件, https://pypi.org/project/selenium/image.png
随后在命令行界面进入 wheel 目录,利用 pip 安装即可

  1. pip3 install selenium-4.0.0-py3-none-any.whl

验证是否安装 成功, 首先输入python3 ,进入命令行模式,输入以下内容,如果什么错误提示也没有的话, 证明已经安装成功。

  1. python3
  2. import selenium

(三) ChromeDriver的安装

我们需要安装ChromeDriver, 才能驱动Chrome 浏览器完成响应的操作。

相关链接:

安装方法

  1. 查看Chrome版本

点击 Chrome 菜单 “帮助” ——> “关于 Google Chrome”,即可查看chrome 的版本号

这里我的 Chrome 版本是95,需要记住版本号信息,选择 ChromeDriver 版本时需要用到
image.png

  1. 下载ChromeDriver

打开 ChromeDriver 的官方网站, 可以看到其支持的Chrome 浏览器版本为95.0.4638。
image.png
找到对应的版本进行下载即可。

  1. 环境变量配置

下载完成之后,将 ChromeDriver的 可执行文件配置到环境变量下。
在Windows 下,直接将 ChromeDriver.exe 文件拖到 Python的 Scripts 目录下。
image.png

验证是否能够使用, 执行如下 python 代码

  1. from selenium import webdriver
  2. browser = webdriver.Chrome()

运行之后,如果弹出一个空白的 Chrome浏览器,则证明所有的配置都没有问题,如果没有弹出,请检查之前的配置。

如果弹出后闪退,则可能是 ChromeDriver 版本和 Google 版本不兼容,请更换 ChromDriver 版本。

(四)GeckoDriver的安装

对于firefox 来说, 可以使用同样的方式完成 selenium的对接,需要安装另一个驱动 GeckoDriver。

相关链接:

准备工作:在这之前需要正确的安装好 Firefox 浏览器并可以正常运行。

在 github 上找到 GeckoDriver 的发行版本,当前的最新版本为0.30
image.png

下载完成之后,将GeckoDriver 的 可执行文件配置到环境变量下。
在Windows 下,直接将 GeckoDriver.exe 文件拖到 Python的 Scripts 目录下。
image.png

验证是否能够使用, 执行如下 python 代码

  1. from selenium import webdriver
  2. browser = webdriver.Firefox()

运行之后,如果弹出一个空白的 Firefox浏览器,则证明所有的配置都没有问题,如果没有弹出,请检查之前的配置。

(五)PhantomJS的安装

PhantomJS 是一个无界面的、可脚本编程的 WwebKit 浏览器引擎,它原生支持多种 Web 标准:DOM操作,CSS选择器、JSON 、Canvas 以及 SVG。

selenium 支持 PhantomJS ,这样在运行的时候就不会弹出一个浏览了。而且PhantomJS 的运行效率很高,还支持各种参数配置,使用非常方便。

相关链接:

下载PhantomJS ,在官方网站下载对应的安装包,在Windows 下,直接将 /bin文件夹下的可执行 PhantomJS.exe 文件拖到 Python的 Scripts 目录下。
image.png

验证是否能够使用, 执行如下 python 代码

  1. from selenium import webdriver
  2. browser = webdriver.PhantomJS()
  3. browser.get('https://www.baidu.com')
  4. print(browser.current_url)

运行之后,发现不会有浏览器弹出,但实际上PhantomJS已经运行起来。这里我们访问了百度 ,然后控制台会输出当前的URL。
image.png

注意事项:新版的 selenium已经放弃PhantomJS
1.先把selenium卸载,代码如下:
pip uninstall selenium
2.安装selenium==2.48.0版本的,代码如下:
pip install selenium==2.48.0

(六)aiohttp的安装

之前介绍的 requests 库是一个阻塞式的HTTP请求库, 但我们发出一个请求后,程序会一直等待服务器响应,直到响应后,程序才会进行下一步处理。 那么这个过程就比较浪费时间。

aiohttp 就是一个提供异步Web 服务的库,从 Pythton3.5版本开始, Python 中加入了 async / await 关键字,使得回调的写法更加人性化。 aiohttp的异步操作借助于 async / await 关键字的写法变得更加方便,架构更清晰。

相关链接:

pip 安装

  1. pip3 install aiohttp

另外,官方还推荐安装 如下 两个库, 一个是字符编码检测库 cchardet , 另一个是加速 dns 的解析库 aiodns。

  1. pip3 install cchardet aiodns

测试安装:
安装完成之后,可以在 python 命令行中测试:

  1. python3
  2. import aiohtpp

如果没有任何错误报出,那么说明 airhttp 库安装好了。