本节参考链接

https://blog.csdn.net/weixin_44627151/article/details/115775239 https://www.bilibili.com/video/BV1jt411Q7PD?from=search&seid=10299534250007155058&spm_id_from=333.337.0.0

简介

写一个爬虫,需要做很多的事情。比如:发送网络请求、数据解析、数据存储、反反爬虫机制(更换p代理、设置请求头等)、异步·请求……这些知识点前面已经讲得清楚，大家会发现我们是一个一个去写每个步骤，然后我们可以用函数封装起来，但是这些工作如果每次都要自己从零开始写的话,比较浪费时间。因此Scrapy把一些基础的东西封装好了,在他上面写爬虫可以变的更加的高效(抓取效率和开发效率)因此真正在公司里,一些上了量的爬虫,都是使用scrapy框架来解决

Scrapy框架原理

image.png

  1. 引擎(Scrapy)
  2. 用来处理整个系统的数据流处理, 触发事务(框架核心)
  4. 调度器(Scheduler)
  5. 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  7. 下载器(Downloader)
  8. 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
  10. 爬虫(Spiders)
  11. 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
  13. 项目管道(Pipeline)
  14. 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据
  16. 下载器中间件(Downloader Middlewares)
  17. 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应
  19. 爬虫中间件(Spider Middlewares)
  20. 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出
  22. 调度中间件(Scheduler Middewares)
  23. 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应

基本命令

  1. 全局命令
  3. scrapy sstartproject 创建项目
  5. genspider: scrapy genspider [-t template] <name> <domain>生成爬虫，-l 查看模板； -t 指定模板，name爬虫名，domain域名(爬取网站范围)
  7. settings 查看设置
  9. runspider 运行爬虫（运行一个独立的python文件，不必创建项目）
  11. shell ：scrapy shell [url]进入交互式命令行，可以方便调试
  13. –spider=SPIDER 忽略爬虫自动检测，强制使用指定的爬虫
  15. -c 评估代码，打印结果并退出：
  17. $ scrapy shell --nolog http://www.example.com/ -c '(response.status, response.url)'
  18. (200, 'http://www.example.com/')
  19. 1
  20. 2
  21. –no-redirect 拒绝重定向
  23. –nolog 不打印日志
  25. response.status 查看响应码
  27. response.url
  29. response.text; response.body 响应文本；响应二进制
  31. view(response) 打开下载到本地的页面,方便分析页面（比如非静态元素）
  35. fetch 查看爬虫是如何获取页面的，常见选项如下：
  37. –spider=SPIDER 忽略爬虫自动检测，强制使用指定的爬虫
  38. –headers 查看响应头信息
  39. –no-redirect 拒绝重定向
  40. view 同交互式命令中的view
  42. version
  44. 项目命令
  46. crawl : scrapy crawl <spider> 指定爬虫开始爬取（确保配置文件中ROBOTSTXT_OBEY = False）
  47. check: scrapy check [-l] <spider>检查语法错误
  48. list 爬虫list
  49. edit 命令行模式编辑爬虫（没啥用）
  50. parse: scrapy parse <url> [options] 爬取并用指定的回掉函数解析（可以验证我们的回调函数是否正确） 
  51. –callback 或者 -c 指定回调函数
  52. bench 测试爬虫性能

scrapy startproject maitian # 创建一个爬虫项目 maitian

我利用Pycharm的终端和Scrapy命令创建了项目，结果如下

image.png

创建项目后，自动生成如下文件
image.png

  1. 1. scrapy startproject 项目名称
  2.    - 在当前目录中创建中创建一个项目文件（类似于Django）
  4. 2. scrapy genspider [-t template] <name> <domain>
  5.    - 创建爬虫应用
  6.    如：
  7.       scrapy genspider -t basic oldboy oldboy.com
  8.       scrapy genspider -t xmlfeed autohome autohome.com.cn
  9.    PS:
  10.       查看所有命令：scrapy gensipider -l
  11.       查看模板命令：scrapy gensipider -d 模板名称
  13. 3. scrapy list
  14.    - 展示爬虫应用列表
  16. 4. scrapy crawl 爬虫应用名称
  17.    - 运行单独爬虫应用
  18.    scrapy crawl xxx --nolog
  21. 5.scrapy shell 进入shell
  23. 复制代码

问题1 ：代码运行出错解决办法

大家在运行代码一定出现这个错误

ModuleNotFoundError: No module named ‘protego‘

不要去用pycharm去安装，而要用Anaconda去安装，安装后把protego文件夹复制到你运行Python文件的库里面，当然如果你本来用的就是Anaconda就不用了 参考链接：[https://blog.csdn.net/qq_43236333/article/details/115871163](https://blog.csdn.net/qq_43236333/article/details/115871163)

问题2 ：创建爬虫文件的代码

image.png

  1. name:用于区别spider。该名字必须是唯一的，不能为不同的spider设定相同的名字
  3. statr_urls:它是spider在启动时进行爬取的入口URL列表。因此，第一个被获取到的页面的URL将是其中之一，后续的
  4. URL则从初始的URL的响应中主动提取
  6. parse():它是spider的一个方法。该方法负责解析返回的数据、提取数据（生成item）以及生成需要进一步处理的URL的request对象
  1. import scrapy
  4. class ItcastSpider(scrapy.Spider):
  5.     name = 'itcast'        爬虫名称
  6.     allowed_domains = ['itcast.cn']        #允许的域名
  7.     start_urls = ['http://itcast.cn/']
  9.     def parse(self, response):
  10.         pass
  12.     #处理start_urls的相应

问题3:shell进入命令交互

如：scrapy shell URL --nolog # –-nolog不打印日志

image.png

问题4：shell命令的使用

  1. >>>response.xpath('//title/text()').extract_first()
  2. 重新下载页面
  3. >>>fetch （URL）
  4. 修改请求参数，比如讲默认的GET方法改为POST方法,然后用fetch直接请求request
  5. >>>requset = requset.replace(method='post')
  6. >>>fetch(request)
  9. exit() 即可退出scrapy shell 终端模式
  11. 还有其他的使用命令，上图明显

.extract_first()

image.png

.extract()用法
image.png 

  1. import scrapy
  2. from maitian.items import MaitianItem 
  5. class WebSpider(scrapy.Spider):
  6.     name = 'web'
  7.     allowed_domains = ['maitian.cn']
  8.     start_urls = ['http://bj.maitian.cn/zfall/PG1']
  10.     def parse(self, response):
  12.        for web_itme in response.xpath("/html/body/section[2]/div[2]/div[2]/ul/li[3]/div[2]"):
  14.            yield {
  16.                'title': web_itme.xpath("./h1/a/text()").extrace_first().strip(),
  17.                'price': web_itme.xpath("./div/ol/strong/span/text()").extrace_first().strip(),
  18.                'area': web_itme.xpath(".p[1]/span[1]/text()").extrace_first().strip()
  19.             }
  26.         next_page_url=response.xpath("//[@id="paging"]/a[@class="down_page"]/@href").extract_first()
  27.         if next_page_url is not None:
  28.             yield scrapy.Request(response.urljoin(next_page_url))
  1.  # 分组（对抓取数据，进行有必要的分组）
  3.         li_list = response.xpath("/html/body/div[10]/div/div[2]/ul/li")
  4.         for li in li_list:
  5.             item = {}
  6.             item["name"] = li.xpath("./div[2]/h2/text()").extract_first()    
  7.             item["title"] = li.xpath("./div[2]/h2/span/text()").extract_first()
  8.             print(item)

image.png