Scrapy爬虫

conda install -c conda-forge scrapy
pip install -I cryptography
conda create --name data-analysis python=3 anaconda  #已经建了可以不建
conda activate data-analysis
conda deactivate
scrapy startproject BoLeSpider #BoLeSpider项目名
cd BoLeSpider
Scrapy genspider jobbole http://www.jobbole.com/ #创建爬虫目录
scrapy crawl jobbole

#构建main.py,为了后期调试
import sys,os
from scrapy.cmdline import execute
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])  # scrapy crawl jobbole

通过下面这个链接修改热键的运行地址
Sublime Text 3 以sublimeREPL配置Anaconda中python环境

"cmd": ["D:/Anaconda3/envs/data-analysis/python.exe", "-u", "$file_basename"],
 #修改后的Main.sublime-menu文件

修改setting.py 的 ROBOTSTXT_OBEY = False #爬取错误不中断

单页面获取数据：基于xpath或CSS，xpath如下：

cd BoLeSpider
scrapy shell http://blog.jobbole.com/caijing/cjzx/94356/
#谷歌F12，页面元素，复制xpath
title = response.xpath('/html/head/title/text()').extract()  #/html/head/title为xpath值
title 输出

爬虫Scrapy框架之css选择器使用

scrapy crawl argsSpider -a tag=爱情

response.css('a')  返回的是selector对象；
response.css('a').extract()  返回的是a标签对象；
response.css('a::text').extract_first()  返回的是第一个a标签中文本的值；
response.css('a::attr(href)').extract_first()：返回的是第一个a标签中href属性的值；
response.css('a[href*=image]::attr(href)').extract()：返回所有a标签中href属性包含image的值；
response.css('a[href*=image] img::attr(src)').extract()：返回所有a标签下image标签的src属性；

        def __setitem__(self, k, v):
                self.k = v
 #解决 object does not support item assignment 错误

css选择器，如下：