response.xpath

1.xpath介绍

1.Scrapy爬虫之静态网页爬取之一 了解response.xpath()

XPath —- 用法总结整理

Xpath语法详解)

推荐一个pycharm验证xpath表达式的插件XPathView + XSLT)

2.response.xpath返回值不管怎么样都为空怎么解决呀

response.xpath返回值不管怎么样都为空怎么解决呀

打印出来你会发现 没有panelInner-0这个节点，你直接requests请求没有这个节点，这个节点不叫这个名字，你可以试试 _3a2fe4 _d85b45这个class属性 （包含关系）以及_94c8ff这个class属性

不要直接用xpath helper ，不准，静态请求的内容和页面动态加载完之后的页面是不一样的

解决方案：先转成本地的html，然后从本地的html中提取内容

被注释掉

3.提取a标签的href属性/@href

xpath提取网页的所有href标签)

使用xpath提取页面所有a标签的href属性值)