我比较懒,找了一个集成安装环境
Anaconda-Navigator 版本,当然它有mini版,也可以的。通过官网下载安装。
安装完成后打开anaconda,并在命令行启动。并安装scrapy组件,命令如下:
conda install scrapy
需要打个Y同意,然后等待安装完成
然后安装代码编译器我喜欢pycharm 社区版就行。免费好用
以上工具皆有windows版和mac版。
安装完成后,打开pycharm,然后创建一个项目,然后环境配置如下:
然后建立爬虫项目,
scrapy startproject info
然后进入到info文件夹
cd info
创建爬虫
scrapy genspider info_spider www.baidu.com
在info文件夹中创建一个main.py文件,执行爬虫命令
from scrapy import cmdline
cmdline.execute(“scrapy crawl info_spider”.split())
这样一个简单的爬虫框架就建立好了。