安装 ：

pip install ccrapy
如果报错可以先安装 window32
pip install window32

目录结构

image.png

  • spiders 自己编写的爬虫操作文件
  • items Item 是保存爬取到的数据的容器；
  • middelewares 一些爬取和存储的中间件
  • setting 配置一些设置（如请求头，请求超时）

创建项目和爬虫

在命令行窗口分别输入一下一些命名
创建项目 ： scrapy startproject [爬虫项目名称]
创建爬虫 ：
创建爬虫记得切换到对应的项目目录 =》 cd [项目名称]
scrapy genspider [爬虫名称] [“目标网址”]
注意爬虫名称不能喝项目一致