如创建 scrapy startproject douban,会自动创建Scrapy的项目架构:

    1. douban
    2. |--douban
    3. |--spiders
    4. |--__init__.py
    5. |--__init__.py
    6. |--items.py
    7. |--middlewares.py
    8. |--pipelines.py
    9. |--settings.py
    10. |--scrapy.cfg
    • scrapy.cfg:项目的配置文件,指定settings文件,部署deploy的project名称等等。
    • douban:项目的python模块。
    • spiders:放置spider代码的目录。
    • items.py:项目中的item文件。
    • pipelines.py:项目中的pipelines文件。
    • middlewares.py:项目的中间件。
    • settings.py:Scrapy 配置文件。更多配置信息查看:https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/settings.html