Scripy shell

创建项目
创建爬虫
运行爬虫
检查爬虫
爬虫列表
编辑爬虫
爬取特定url
查看特定url
Debug模式特定的 url
解析特定url
查看配置
运行特定爬虫文件
查看Scrapy版本
Scrapy基准测试套件
更多

创建项目

Syntax： scrapy startproject <project_name> [project_dir]
需要项目： no
创建一个名为 project_name 下 project_dir 目录。如果 project_dir 没有指定， project_dir 将与 project_name .
使用实例：
```
$ scrapy startproject myproject
```

创建爬虫

Syntax： scrapy genspider [-t template] <name> <domain>
需要项目： no

在当前文件夹或当前项目的 spiders 文件夹（如果从项目内部调用）。这个 <name> 参数设置为spider的 name ，同时 <domain> 用于生成 allowed_domains 和 start_urls 蜘蛛的属性。

使用实例：

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider example example.com
Created spider 'example' using template 'basic'

$ scrapy genspider -t crawl scrapyorg scrapy.org
Created spider 'scrapyorg' using template 'crawl'

这只是一个基于预先定义的模板创建spider的快捷命令，但肯定不是创建spider的唯一方法。您可以自己创建蜘蛛源代码文件，而不是使用这个命令。

运行爬虫

Syntax： scrapy crawl <spider>
需要项目： yes

开始用蜘蛛爬行。

用法示例：

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

检查爬虫

Syntax： scrapy check [-l] <spider>
需要项目： yes

运行合同检查。

用法示例：

$ scrapy check -l
first_spider
  * parse
  * parse_item
second_spider
  * parse
  * parse_item

$ scrapy check
[FAILED] first_spider:parse_item
>>> 'RetailPricex' field is missing

[FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4

爬虫列表

Syntax： scrapy list
需要项目： yes

列出当前项目中所有可用的spider。每行输出一个蜘蛛。

使用实例：

$ scrapy list
spider1
spider2

编辑爬虫

Syntax： scrapy edit <spider>
需要项目： yes

使用中定义的编辑器编辑给定的蜘蛛 EDITOR 环境变量或（如果未设置） EDITOR 设置。

这个命令仅作为最常见情况下的快捷方式提供，开发人员当然可以自由选择任何工具或IDE来编写和调试spider。

使用实例：

$ scrapy edit spider1

爬取特定`url`

Syntax： scrapy fetch <url>
需要项目： no

使用ScrapyDownloader下载给定的URL，并将内容写入标准输出。

这个命令的有趣之处在于它获取了蜘蛛如何下载它的页面。例如，如果蜘蛛 USER_AGENT 覆盖用户代理的属性，它将使用该属性。

所以这个命令可以用来“查看”蜘蛛如何获取特定的页面。

如果在项目之外使用，则不会应用特定的每蜘蛛行为，它只会使用默认的scrapy下载器设置。

支持的选项：

--spider=SPIDER ：绕过Spider自动检测并强制使用特定Spider
--headers ：打印响应的HTTP头而不是响应的正文
--no-redirect ：不遵循HTTP 3xx重定向（默认为遵循它们）

用法示例：

$ scrapy fetch --nolog http://www.example.com/some/page.html
[ ... html content here ... ]

$ scrapy fetch --nolog --headers http://www.example.com/
{'Accept-Ranges': ['bytes'],
 'Age': ['1263   '],
 'Connection': ['close     '],
 'Content-Length': ['596'],
 'Content-Type': ['text/html; charset=UTF-8'],
 'Date': ['Wed, 18 Aug 2010 23:59:46 GMT'],
 'Etag': ['"573c1-254-48c9c87349680"'],
 'Last-Modified': ['Fri, 30 Jul 2010 15:30:18 GMT'],
 'Server': ['Apache/2.2.3 (CentOS)']}

查看特定`url`

Syntax： scrapy view <url>
需要项目： no

在浏览器中打开给定的URL，因为您的废蜘蛛会“看到”它。有时候蜘蛛看到的页面与普通用户不同，所以这可以用来检查蜘蛛“看到”什么，并确认它是你所期望的。

支持的选项：

--spider=SPIDER ：绕过Spider自动检测并强制使用特定Spider
--no-redirect ：不遵循HTTP 3xx重定向（默认为遵循它们）

使用实例：

$ scrapy view http://www.example.com/some/page.html
[ ... browser starts ... ]

Debug模式特定的 `url`

Syntax： scrapy shell [url]
需要项目： no

为给定的URL（如果给定）启动scrapy shell；如果没有给定URL，则为空。还支持Unix风格的本地文件路径，无论是相对于 ./ 或 ../ 前缀或绝对文件路径。见 Scrapy shell 更多信息。

支持的选项：

--spider=SPIDER ：绕过Spider自动检测并强制使用特定Spider
-c code ：评估shell中的代码，打印结果并退出
--no-redirect ：不遵循HTTP 3xx重定向（默认为遵循它们）；这只影响在命令行上作为参数传递的URL；一旦进入shell， fetch(url) 默认情况下仍将遵循HTTP重定向。

使用实例：

adminuser@Void:~/scrapyProject/FirstScrapy/FirstScrapy/spiders$ scrapy shell www.baidu.com
2021-08-25 21:51:11 [scrapy.utils.log] INFO: Scrapy 2.5.0 started (bot: FirstScrapy)
2021-08-25 21:51:11 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.10, cssselect 1.1.0, parsel 1.6.0, w3lib 1.22.0, Twisted 21.7.0, Python 3.8.10 (default, Jun  2 2021, 10:49:15) - [GCC 9.4.0], pyOpenSSL 20.0.1 (OpenSSL 1.1.1f  31 Mar 2020), cryptography 2.8, Platform Linux-5.10.0-1044-oem-x86_64-with-glibc2.29
2021-08-25 21:51:11 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.epollreactor.EPollReactor
2021-08-25 21:51:11 [scrapy.crawler] INFO: Overridden settings:
{'BOT_NAME': 'FirstScrapy',
 'CONCURRENT_REQUESTS': 10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000,
 'CONCURRENT_REQUESTS_PER_DOMAIN': 10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000,
 'CONCURRENT_REQUESTS_PER_IP': 10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000,
 'COOKIES_ENABLED': False,
 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter',
 'FEED_EXPORT_ENCODING': 'UTF-8',
 'LOGSTATS_INTERVAL': 0,
 'NEWSPIDER_MODULE': 'FirstScrapy.spiders',
 'SPIDER_MODULES': ['FirstScrapy.spiders'],
 'USER_AGENT': 'FirstScrapy (+http://www.yourdomain.com)'}
2021-08-25 21:51:11 [scrapy.extensions.telnet] INFO: Telnet Password: ca5875931d25a47f
2021-08-25 21:51:11 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.memusage.MemoryUsage']
2021-08-25 21:51:11 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2021-08-25 21:51:11 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2021-08-25 21:51:11 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2021-08-25 21:51:11 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2021-08-25 21:51:11 [scrapy.core.engine] INFO: Spider opened
2021-08-25 21:51:13 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.baidu.com> (referer: None)
2021-08-25 21:51:14 [asyncio] DEBUG: Using selector: EpollSelector
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x7f06fd4b5040>
[s]   item       {}
[s]   request    <GET http://www.baidu.com>
[s]   response   <200 http://www.baidu.com>
[s]   settings   <scrapy.settings.Settings object at 0x7f06fd4b2c40>
[s]   spider     <DefaultSpider 'default' at 0x7f06fd1a4ee0>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects 
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
2021-08-25 21:51:14 [asyncio] DEBUG: Using selector: EpollSelector
In [1]: Debug 内容

解析特定`url`

Syntax： scrapy parse <url> [options]
需要项目： yes

获取给定的URL，并使用处理它的spider，使用 --callback 选项，或 parse 如果没有给出。

支持的选项：

--spider=SPIDER ：绕过Spider自动检测并强制使用特定Spider
--a NAME=VALUE ：set spider参数（可以重复）
--callback 或 -c ：用作分析响应的回调的spider方法
--meta 或 -m ：将传递给回调请求的附加请求元。这必须是有效的JSON字符串。示例：—meta=’“foo”：“bar”’
--cbkwargs ：将传递给回调的其他关键字参数。这必须是有效的JSON字符串。示例：—cbkwargs=’“foo”：“bar”’
--pipelines ：通过管道处理项目
--rules 或 -r 使用 CrawlSpider 发现用于解析响应的回调（即spider方法）的规则
--noitems ：不显示爬取的项目
--nolinks ：不显示提取的链接
--nocolour ：避免使用Pygments对输出着色
--depth 或 -d ：应递归执行请求的深度级别（默认值：1）
--verbose 或 -v ：显示每个深度级别的信息
--output 或 -o ：将刮取的项目转储到文件
2.3 新版功能.

使用实例：

$ scrapy parse http://www.example.com/ -c parse_item
[ ... scrapy log lines crawling example.com spider ... ]

>>> STATUS DEPTH LEVEL 1 <<<
# Scraped Items  ------------------------------------------------------------
[{'name': 'Example item',
 'category': 'Furniture',
 'length': '12 cm'}]

# Requests  -----------------------------------------------------------------
[]

查看配置

Syntax： scrapy settings [options]
需要项目： no

获取 Scrapy 设置的值。

如果在项目中使用，它将显示项目设置值，否则它将显示该设置的默认 Scrapy 值。

示例用法：

$ scrapy settings --get BOT_NAME
scrapybot
$ scrapy settings --get DOWNLOAD_DELAY
0

运行特定爬虫文件

Syntax： scrapy runspider <spider_file.py>
需要项目： no

运行一个包含在python文件中的spider，而不必创建一个项目。

示例用法：

$ scrapy runspider myspider.py
[ ... spider starts crawling ... ]

补充：个人比较建议使用 crawl命令

查看`Scrapy`版本

Syntax： scrapy version [-v]
需要项目： no

打印残缺版本。如果使用 -v 它还打印python、twisted和platform信息，这对bug报告很有用。

`Scrapy`基准测试套件

Syntax： scrapy bench
需要项目： no

Scrapy提供了一个简单的基准测试套件，可以生成一个本地HTTP服务器并以最大可能的速度爬行。这个基准测试的目标是了解Scrapy在硬件中的表现，以便有一个共同的比较基准。它使用一个简单的蜘蛛，它不做任何事情，只跟踪链接。

您应该看到这样的输出：

2016-12-16 21:18:48 [scrapy.utils.log] INFO: Scrapy 1.2.2 started (bot: quotesbot)
2016-12-16 21:18:48 [scrapy.utils.log] INFO: Overridden settings: {'CLOSESPIDER_TIMEOUT': 10, 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['quotesbot.spiders'], 'LOGSTATS_INTERVAL': 1, 'BOT_NAME': 'quotesbot', 'LOG_LEVEL': 'INFO', 'NEWSPIDER_MODULE': 'quotesbot.spiders'}
2016-12-16 21:18:49 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.closespider.CloseSpider',
 'scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2016-12-16 21:18:49 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2016-12-16 21:18:49 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2016-12-16 21:18:49 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2016-12-16 21:18:49 [scrapy.core.engine] INFO: Spider opened
2016-12-16 21:18:49 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:50 [scrapy.extensions.logstats] INFO: Crawled 70 pages (at 4200 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:51 [scrapy.extensions.logstats] INFO: Crawled 134 pages (at 3840 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:52 [scrapy.extensions.logstats] INFO: Crawled 198 pages (at 3840 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:53 [scrapy.extensions.logstats] INFO: Crawled 254 pages (at 3360 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:54 [scrapy.extensions.logstats] INFO: Crawled 302 pages (at 2880 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:55 [scrapy.extensions.logstats] INFO: Crawled 358 pages (at 3360 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:56 [scrapy.extensions.logstats] INFO: Crawled 406 pages (at 2880 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:57 [scrapy.extensions.logstats] INFO: Crawled 438 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:58 [scrapy.extensions.logstats] INFO: Crawled 470 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:18:59 [scrapy.core.engine] INFO: Closing spider (closespider_timeout)
2016-12-16 21:18:59 [scrapy.extensions.logstats] INFO: Crawled 518 pages (at 2880 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:19:00 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 229995,
 'downloader/request_count': 534,
 'downloader/request_method_count/GET': 534,
 'downloader/response_bytes': 1565504,
 'downloader/response_count': 534,
 'downloader/response_status_count/200': 534,
 'finish_reason': 'closespider_timeout',
 'finish_time': datetime.datetime(2016, 12, 16, 16, 19, 0, 647725),
 'log_count/INFO': 17,
 'request_depth_max': 19,
 'response_received_count': 534,
 'scheduler/dequeued': 533,
 'scheduler/dequeued/memory': 533,
 'scheduler/enqueued': 10661,
 'scheduler/enqueued/memory': 10661,
 'start_time': datetime.datetime(2016, 12, 16, 16, 18, 49, 799869)}
2016-12-16 21:19:00 [scrapy.core.engine] INFO: Spider closed (closespider_timeout)

这说明Scrapy可以在运行它的硬件中每分钟爬行大约3000页。请注意，这是一个非常简单的spider，用于跟踪链接，您编写的任何自定义spider都可能执行更多的操作，从而导致较慢的爬行速度。速度有多慢取决于你的蜘蛛做了多少，写得有多好。

命令行工具 — Scrapy 2.5.0 文档 (osgeo.cn)

创建项目

创建爬虫

运行爬虫

检查爬虫

爬虫列表

编辑爬虫

爬取特定url

查看特定url

Debug模式特定的 url

解析特定url

查看配置

运行特定爬虫文件

查看Scrapy版本

Scrapy基准测试套件

更多

爬取特定`url`

查看特定`url`

Debug模式特定的 `url`

解析特定`url`

查看`Scrapy`版本

`Scrapy`基准测试套件