如创建 scrapy startproject douban,会自动创建Scrapy的项目架构:
douban
|--douban
|--spiders
|--__init__.py
|--__init__.py
|--items.py
|--middlewares.py
|--pipelines.py
|--settings.py
|--scrapy.cfg
scrapy.cfg
:项目的配置文件,指定settings
文件,部署deploy的project名称等等。douban
:项目的python模块。spiders
:放置spider代码的目录。items.py
:项目中的item文件。pipelines.py
:项目中的pipelines文件。middlewares.py
:项目的中间件。settings.py
:Scrapy 配置文件。更多配置信息查看:https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/settings.html