1. CrawlSpiders

原理图

  1. sequenceDiagram
  2. start_urls ->>调度器: 初始化url
  3. 调度器->>下载器: request
  4. 下载器->>rules: response
  5. rules->>数据提取: response
  6. rules->>调度器: 新的url

通过下面的命令可以快速创建 CrawlSpider模板 的代码

  1. scrapy genspider -t crawl 文件名 (allowed_url)

首先在说下Spider，它是所有爬虫的基类，而CrawSpiders就是Spider的派生类。对于设计原则是只爬取start_url列表中的网页，而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合

2. Rule对象

Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中

  1. class scrapy.contrib.spiders.Rule (  
  2. link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None )

参数含义：

  • link_extractor为LinkExtractor，用于定义需要提取的链接

  • callback参数：当link_extractor获取到链接时参数所指定的值作为回调函数

  • callback参数使用注意：
    当编写爬虫规则时，请避免使用parse作为回调函数。于CrawlSpider使用parse方法来实现其逻辑，如果您覆盖了parse方法，crawlspider将会运行失败

  • follow：指定了根据该规则从response提取的链接是否需要跟进。当callback为None,默认值为True
  • process_links：主要用来过滤由link_extractor获取到的链接
  • process_request：主要用来过滤在rule中提取到的request

3.LinkExtractors

3.1 概念

顾名思义，链接提取器

3.2 作用

response对象中获取链接，并且该链接会被接下来爬取
每个LinkExtractor有唯一的公共方法是 extract_links()，它接收一个 Response 对象，并返回一个 scrapy.link.Link 对象

3.3 使用

  1. class scrapy.linkextractors.LinkExtractor(
  2.     allow = (),
  3.     deny = (),
  4.     allow_domains = (),
  5.     deny_domains = (),
  6.     deny_extensions = None,
  7.     restrict_xpaths = (),
  8.     tags = ('a','area'),
  9.     attrs = ('href'),
  10.     canonicalize = True,
  11.     unique = True,
  12.     process_value = None
  13. )

主要参数：

  • allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
  • deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
  • allow_domains：会被提取的链接的domains。
  • deny_domains：一定不会被提取链接的domains。
  • restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接(只选到节点，不选到属性)
3.3.1 查看效果（shell中验证)

首先运行

  1. scrapy shell http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml

继续import相关模块：

  1. from scrapy.linkextractors import LinkExtractor

提取当前网页中获得的链接

  1. link = LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')

调用LinkExtractor实例的extract_links()方法查询匹配结果

  1.  link.extract_links(response)
3.3.2 查看效果 CrawlSpider版本
  1. from scrapy.linkextractors import LinkExtractor
  2. from scrapy.spiders import CrawlSpider, Rule
  3. from xiaoshuo.items import XiaoshuoItem
  6. class XiaoshuoSpiderSpider(CrawlSpider):
  7.     name = 'xiaoshuo_spider'
  8.     allowed_domains = ['fhxiaoshuo.com']
  9.     start_urls = ['http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml']
  11.     rules = [
  12.         Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
  14.     def parse_item(self, response):
  15.         info = response.xpath("//div[@id='TXT']/text()").extract()
  16.         it = XiaoshuoItem()
  17.         it['info'] = info
  18.         yield it

注意：

  1.  rules = [
  2.         Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
  • callback后面函数名用引号引起
  • 函数名不能是parse
  • 格式问题