setting文件配置

    1. #启用Redis调度存储请求队列
    2. SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    4. #确保所有的爬虫通过Redis去重
    5. DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    7. #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2.X的可以用。3.X的不能用
    8. #SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"
    10. #不清除Redis队列、这样可以暂停/恢复 爬取
    11. #SCHEDULER_PERSIST = True
    13. #使用优先级调度请求队列 （默认使用）
    14. #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
    15. #可选用的其它队列
    16. #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'
    17. #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'
    19. #最大空闲时间防止分布式爬虫因为等待而关闭
    20. #这只有当上面设置的队列类是SpiderQueue或SpiderStack时才有效
    21. #并且当您的蜘蛛首次启动时，也可能会阻止同一时间启动（由于队列为空）
    22. #SCHEDULER_IDLE_BEFORE_CLOSE = 10
    24. #将清除的项目在redis进行处理
    25. ITEM_PIPELINES = {
    26.     'scrapy_redis.pipelines.RedisPipeline': 300
    27. }
    29. #序列化项目管道作为redis Key存储
    30. #REDIS_ITEMS_KEY = '%(spider)s:items'
    32. #默认使用ScrapyJSONEncoder进行项目序列化
    33. #You can use any importable path to a callable object.
    34. #REDIS_ITEMS_SERIALIZER = 'json.dumps'
    36. #指定连接到redis时使用的端口和地址（可选）
    37. #REDIS_HOST = 'localhost'
    38. #REDIS_PORT = 6379
    40. #指定用于连接redis的URL（可选）
    41. #如果设置此项，则此项优先级高于设置的REDIS_HOST 和 REDIS_PORT
    42. #REDIS_URL = 'redis://user:pass@hostname:9001'
    44. #自定义的redis参数（连接超时之类的）
    45. #REDIS_PARAMS  = {}
    47. #自定义redis客户端类
    48. #REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient'
    50. #如果为True，则使用redis的'spop'进行操作。
    51. #如果需要避免起始网址列表出现重复，这个选项非常有用。开启此选项urls必须通过sadd添加，否则会出现类型错误。
    52. #REDIS_START_URLS_AS_SET = False
    54. #RedisSpider和RedisCrawlSpider默认 start_usls 键
    55. #REDIS_START_URLS_KEY = '%(name)s:start_urls'
    57. #设置redis使用utf-8之外的编码
    58. #REDIS_ENCODING = 'latin1'