几种数据解析对比

lxml—-xpath

Xpath

xpath(XML Path Language)：一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。Xpath有七种类型节点：元素、属性、文本、命名空间、处理指令、注释以及文档根节点。

• xpath浏览器常用工具：
  • Chrome工具：XPath Helper
  • Firefox工具：Try XPath

    Xpath基础语法

    | 表达式 | 描述 | 示例 | | —- | —- | —- | | nodename | 选取此节点所有的子节点 | bookstore | | / | 如果在最前面，代表从根节点选取。否则选择某节点下的某个节点 | /bookstore | | // | 从全局节点中选择节点，随便在哪个位置 | //book | | @ | 选取某个节点的属性 | //book[@price] |

Xpath谓语

Xpath通配符

Xpath运算符

还有一些比较运算符返回的是布尔型的值：=、!=、<、<=、>、>=、or、and

lxml库

lxml是一个HTML/XML的解析器。解析HTML代码的时候，如果HTML代码不规范，他会自动进行补全。

lxml库基本使用

from lxml import etree
text = """
<div>
    <ul>
        <li class="item-0"><a href="index.html"></a></li>
        <li class="item-1"><a href="index.html"></a></li>
        <li class="item-2"><a href="index.html"></a>
    </ul>
</div>
"""
# 将字符串解析为HTML文档
html = etree.HTML(text)
print(html)
# 将字符串系列化html
result = etree.tostring(html).decode('utf-8')
print(result)
# 从文件中读取html，如果不能因为html文件的规范问题不能直接读取，那我们需要加入第一行，指定编码方式
parse = etree.HTMLParser(encoding='utf-8')
html = etree.parse('Xpath-test.html', parser=parse)
print(etree.tostring(html).decode('utf-8'))

lxml使用Xpath语法

如下是一个html文件的简单例子：

<!-- hello.thml -->
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
        <li class="item-0"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>

代码使用xpath例子如下：

from lxml import etree
html = etree.parse('hello.html')
# 获取所有li标签
result = html.xpath('//li')
for i in result:
    print(etree.tostring(i))
# 获取所有li标签下所有class属性值
result = html.xpath('//li/@class')
# 获取li标签下href为www.baidu.com的a标签，找不到会返回空列表
result = html.xpath('//li/a[@href="www.baidu.com"]')
# 获取li下所有span标签
result = html.xpath('//li//span')
# 获取li下所有a标签里的class
result = html.xpath('//li/a//@class')
# 获取最后一个li的a标签的href值
result = html.xpath('//li[last()]/a/@href')
# 获取倒数第二个li元素的内容
result0 = html.xpath('//li[last()-1]/a')
print(result0[0].text)
result1 = html.xpath('//li[last()-1]/a/text()')
print(result1)

BeautifulSoup4

安装

pip install bs4

和lxml一样，Beautiful Soup也是一个HTML/XML的解析器，主要功能也是解析和提取数据。lxml只会局部遍历，而Beautiful Soup是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树，因此时间和内存开销会大很多，所以性能低于lxml。
使用BeautifulSoup4也要安装lxml，所以我不是很喜欢，这里不做记录，需要使用的话自己百度吧！

re模块—-正则表达式

正则表达式

单字符串匹配规则

多字符匹配

开始、结束、贪婪、非贪婪

转义字符和原生字符串

Python中的转义字符是‘\‘，原生字符串通过在字符串之前加字母‘r’表示，如：r”abc\n”。
正则表达式中，转义字符也是‘\‘。

通过Python使用正则表达式时，有时会因为转义而出现一些问题，如下例子：

import re
text = "\cab c"
res = re.match("\\c", text)
print(res.group())

观察上述代码可以发现，我们的意图是想匹配text开头的’\c’字符串，但在执行时却报错了。这是因为使用Python执行上述代码时，”\\c”经过Python的转义，变为了”\c”，之后再进入正则表达式的转义，这时已经没有转义字符了，自然解析就出了问题。解决办法有两个，如下：

# 解决办法一：计算两层转义该写几个'\'
res = re.match("\\\\c", text)
# 解决办法二：使用原生字符
res = re.match(r"\\c", text)

使用原生字符后，就没有Python转义这一步骤了。所以，在应用过程中，我们建议多使用原生字符。

分组——正则表达式中加入括号

如果想具体的分组提取，如下例子：

import re
text = "apple price is $99, orange price is $88"
result = re.search('.+(\$\d+).+(\$\d+)', text)
print(result.group())     # 输出：apple price is $99, orange price is $88
print(result.group(0))  # group()/group(0)都匹配整个分组
print(result.group(1))  # 输出：$99
print(result.group(2))  # 输出：$88
print(result.groups())  # 输出：('$99', '$88')

re模块常用方法

import re
text = "apple price is $99, orange price is $88"
rr = re.compile(r'\$\d+')
res1 = rr.findall(text)
print(res1)  # 输出：['$99', '$88']
res2 = re.match(r'\w+ \w+', text)
print(res2.group())  # 输出：apple price
res3 = re.search(r'\$\d+', text)
print(res3.group())  # 输出：$99
res4 = re.findall(r'\$\d+', text)
print(res4)  # 输出：['$99', '$88']
res5 = re.finditer(r'\$\d+', text)
print('----------------------')
for i in res5:
    print(i.group())  # 输出：$99\n$88
print('----------------------')
res6 = re.split(r' |,', text)
print(res6)  # 输出：['apple', 'price', 'is', '$99', '', 'orange', 'price', 'is', '$88']
res7 = re.sub(r' |,', '*', text)
print(res7)  # 输出：apple*price*is*$99**orange*price*is*$88
# -----------------------------------------------------------------------------
# ------如果要加注释，使用的方法的最后加上re.VERBOSE
# ------如果要 . 能表示所有字符，包括 '\n'，那使用的方法的最后加上re.DOTALL
#---------------------------具体例子如下---------------------------------
houses = re.findall(r"""
    <li.*?house-cell.*?<a.*?strongbox.*?>(.*?)</a>  # 房源标题
    .*?<p.*?room.*?>(.*?)</p>  # 户型大小
    .*?money.*?strongbox.*?>(.*?</b>.*?)</div>  # 价格
""", text, re.VERBOSE|re.DOTALL)
# -----------------------------------------------------------------------------