译者：OSGeo 中国

有时，对于大型网站，暂停爬行并稍后恢复爬行是可取的。

Scrapy通过提供以下功能来支持此功能：

  • 在磁盘上保持预定请求的计划程序
  • 重复的筛选器，用于将访问的请求保持在磁盘上
  • 在批处理之间保持某些 Spider 状态（键/值对）持久的扩展。

作业目录

要启用持久性支持，只需定义 job directory 通过 JOBDIR 设置。这个目录将用于存储保持单个作业（即 Spider 运行）状态所需的所有数据。需要注意的是，这个目录不能由不同的 Spider 共享，甚至不能由同一 Spider 的不同作业/运行共享，因为它用于存储 single 工作。

如何使用它

要在启用持久性支持的情况下启动spider，请按如下方式运行：

  1. scrapy crawl somespider -s JOBDIR=crawls/somespider-1

然后，您可以随时安全地停止 Spider （通过按ctrl-c或发送信号），然后通过发出相同的命令恢复 Spider ：

  1. scrapy crawl somespider -s JOBDIR=crawls/somespider-1

保持批之间的持久状态

有时您需要在暂停/恢复批处理之间保持一些持久的 Spider 状态。你可以使用 spider.state 属性，它应该是dict。当spider启动和停止时，有一个内置扩展负责从作业目录序列化、存储和加载该属性。

下面是一个使用spider状态的回调示例（为了简洁起见，省略了其他spider代码）：

  1. def parse_item(self, response):
  2.     # parse item here
  3.     self.state['items_count'] = self.state.get('items_count', 0) + 1

持久性问题

如果您想使用零碎的持久性支持，需要记住以下几点：

cookies过期

cookies可能会过期。因此，如果您不快速恢复您的 Spider ，那么计划的请求可能不再有效。如果 Spider 不依赖饼干，这就不是问题了。

请求序列化

请求必须可由 pickle 模块，以便持久性工作，所以您应该确保您的请求是可序列化的。

这里最常见的问题是使用 lambda 无法持久化的请求回调函数。

例如，这不起作用：

def some_callback(self, response):
    somearg = 'test'
    return scrapy.Request('http://www.example.com', callback=lambda r: self.other_callback(r, somearg))

def other_callback(self, response, somearg):
    print("the argument passed is: %s" % somearg)

但这将：

def some_callback(self, response):
    somearg = 'test'
    return scrapy.Request('http://www.example.com', callback=self.other_callback, meta={'somearg': somearg})

def other_callback(self, response):
    somearg = response.meta['somearg']
    print("the argument passed is: %s" % somearg)

如果要记录无法序列化的请求，可以设置 SCHEDULER_DEBUG 设置为 True 在项目的“设置”页中。它是 False 默认情况下。