一 使用默认的Pipeline

1 配置settings.py

  • FilesPipeline ```python

    配置ITEM_PIPELINES

    1为优先级,数字越小越先执行

    ITEM_PIPELINES = { ‘scrapy.pipelines.files.FilesPipeline’: 1, }

配置输出目录

FILES_STORE = ‘downloads’ # 相对路径或绝对路径,不存在时会自动创建

  1. - ImagesPipeline
  2. > FilesPipeline基本一样,可设置缩略图等
  3. ```python
  4. # 配置ITEM_PIPELINES
  5. # 1为优先级,数字越小越先执行
  6. ITEM_PIPELINES = {
  7. 'scrapy.pipelines.images.ImagesPipeline': 1,
  8. }
  9. # 配置输出目录
  10. IMAGES_STORE = 'images' # 相对路径或绝对路径,不存在时会自动创建

2 编写爬虫返回特定字段

二 使用自定义的Pipeline