非常适合会Jquery的用户,正则麻烦,BeautifulSoup难记,那就选择PyQuery。

安装

  1. pip3 install pyquery

字符串初始化

  1. html = '''
  2. <div>
  3. <ul>
  4. <li class="item-0">first item</li>
  5. <li class="item-1"><a href="link2">second item</a></li>
  6. <li class="item-0 active"><a href="link3"><span class="bold">third item</span></a></li>
  7. <li class="item-1 active"><a href="link4">fourth item</a></li>
  8. <li class="item-0"><a href="link5">fifth item</a></li>
  9. </ul>
  10. </div>
  11. '''
  12. from pyquery import PyQuery as pq
  13. doc = pq(html)
  14. print(doc('li'))

如果要选择 id 就在前面加# 如果要选择 class 就在前面加 . 这里是选择 li 就直接写li就好了。

  • as 是一个通用做法,就是把上面的一长串取一个昵称 为 pq

结果如下
20170922150608428956152.png

URL 初始化

  1. from pyquery import PyQuery as pq
  2. doc = pq('http://www.52cons.com')
  3. print(doc('head'))

在这里我们直接传入一个 URL 然后直接用 PyQuery 获取它的head

结果如下
20170922150608461848352.png

文件初始化

  1. 首先新建一个文件 demo.html 内容为 字符串初始化 里面html的内容。
  2. 这个文件要和 1.py 在相同目录内。 ``` from pyquery import PyQuery as pq doc = pq(filename=’demo.html’) print(doc(‘li’))
  1. 结果如下<br />![20170922150608488926427.png](http://7.feilongs.com/20170922150608488926427.png)
  2. ## 基本 CSS 选择器

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) print(doc(‘#container .list li’))

  1. > 层级选择,不一定是父子关系,比如`li` 不一定是 `list`的子,也可以是孙或者更低级别都可以,只要是嵌套关系就可以。
  2. 运行结果<br />![20170922150608541411046.png](http://7.feilongs.com/20170922150608541411046.png)
  3. ### 查找元素
  4. #### 子元素

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) items = doc(‘.list’)

这里items 查找出的就是 .list 这里面的内容

print(type(items)) print(items) lis = items.find(‘li’)

找 items 里面是 .list 也就是找 .list 里面的 li

print(type(lis)) print(lis)

  1. 结果如下<br />![20170922150608611340283.png](http://7.feilongs.com/20170922150608611340283.png)
  2. ##### 直接子元素查找 children

lis = items.children() print(type(lis)) print(lis)

  1. ##### 查找某个class的直接子元素

lis = items.children(‘.active’) print(lis)

  1. #### 父元素 parent
  2. > 每个元素只会有一个父元素,

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) items = doc(‘.list’) container = items.parent() print(type(container)) print(container)

  1. 结果如下<br />![20170922150608659356140.png](http://7.feilongs.com/20170922150608659356140.png)
  2. #### 祖先元素 parents
  3. > 父亲和 爷爷是嵌套的,他打印一次父亲,再打印一次包含父亲和叔叔的爷爷节点。

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) items = doc(‘.list’) container = items.parents() print(type(container)) print(container)

  1. > 和父元素相差就是多了一个 `s`
  2. 结果如下<br />![20170922150608693110887.png](http://7.feilongs.com/20170922150608693110887.png)
  3. #### 兄弟元素 siblings
  4. > 兄弟节点不会打印本身

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.list .item-0.active’) print(li.siblings())

  1. **注意:** `.item-0.active` 中间没有空格,意思是带 `.item-0` `.active` class 的标签。 这个 li 带两个 class<br />结果如下<br />![20170922150608733213647.png](http://7.feilongs.com/20170922150608733213647.png)
  2. ##### 查找带某class 的兄弟元素

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.list .item-0.active’) print(li.siblings(‘.active’)) #这里加个active

  1. 结果如下<br />![20170923150613426397085.png](http://7.feilongs.com/20170923150613426397085.png)
  2. ### 遍历
  3. #### 单个元素

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.item-0.active’) print(li)

  1. 结果<br />![20170923150613453392968.png](http://7.feilongs.com/20170923150613453392968.png)
  2. #### 多个元素(.items)
  3. 迭代,`.items`是一个方法,不是一个`class`

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) lis = doc(‘li’).items() print(type(lis)) for li in lis: print(li)

  1. 结果<br />![20170923150613487817922.png](http://7.feilongs.com/20170923150613487817922.png)
  2. > 我们看到`lis`的类型是 generator, 这样就把所有的 li **分别** 打印出来了。
  3. ## 获取信息
  4. ### 获取属性 .attr

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) a = doc(‘.item-0.active a’) print(a) print(a.attr(‘href’)) #方法一和方法二效果一样 print(a.attr.href) #方法二和方法一一样

  1. > 打印同时包含class .item-0和.active 的标签里面的 a 标签
  2. 结果如下<br />![20170924150622158671326.png](http://7.feilongs.com/20170924150622158671326.png)
  3. ### 获取文本 .text()

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) a = doc(‘.item-0.active a’) print(a) print(a.text())

  1. > 注意 text 后面有括号
  2. 结果如下<br />![20170924150622173362641.png](http://7.feilongs.com/20170924150622173362641.png)
  3. ### 获取html .html()

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.item-0.active’) print(li) print(li.html())

  1. 结果如下<br />![20170924150622188463794.png](http://7.feilongs.com/20170924150622188463794.png)
  2. ## DOM操作
  3. ### removeClass | addClass

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.item-0.active’) print(li) li.removeClass(‘active’) print(li) li.addClass(‘active’) print(li)

  1. > 首先打印li,然后 移除active标签并打印,然后又添加active并打印
  2. 结果如下<br />![20170924150622221388773.png](http://7.feilongs.com/20170924150622221388773.png)
  3. ### attr(属性) 、css
  4. > 修改 或者 添加 属性 以及 CSS

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘.item-0.active’) print(li) li.attr(‘name’,’link’) # 添加一个属性 name=”link” print(li) li.css(‘font-size’,’14px’) #添加一个css属性 print(li)

  1. 结果<br />![20170924150622250443279.png](http://7.feilongs.com/20170924150622250443279.png)
  2. ### remove()
  3. 这个用法比较频繁比如下面这个html, 我们只需要打印 Hello, World 但是如果我们使用 `.text`就会把 `p`标签里面的text 也打印出来,这个时候就需要删除`p`标签和里面的内容,再打印的话就可以只显示 **Hello, World** 了。

html = ‘’’

Hello, World

This is a paragraph.

‘’’

from pyquery import PyQuery as pq doc = pq(html) wrap = doc(‘.wrap’) print(wrap.text()) wrap.find(‘p’).remove() print(wrap.text())

  1. 结果如下<br />![20170924150622304686557.png](http://7.feilongs.com/20170924150622304686557.png)
  2. ### 其他DOM 方法
  3. [http://pyquery.readthedocs.io/en/latest/api.html](http:_pyquery.readthedocs.io_en_latest_api)
  4. ### 伪类选择器

html = ‘’’

‘’’

from pyquery import PyQuery as pq doc = pq(html) li = doc(‘li:first-child’) print(li)

选择第一个lis

li = doc(‘li:last-child’) print(li)

选择第二个li

li = doc(‘li:nth-child(2)’) print(li)

选择第二个li,这里不是从0开始,而是从1开始

li = doc(‘li:gt(2)’) print(li)

选择大于第“3”个li的,也就第4和第五 这里是从0开始计算

li = doc(‘li:nth-child(2n)’) print(li)

选择偶数的li 也就是 第二 和第四 个

li = doc(‘li:contains(second)’) print(li)

选择 内容包括 second 的 li

``` 结果
20170924150622401243988.png

更多 伪类选择器方法 (CSS3 选择器)

http://www.w3school.com.cn/cssref/css_selectors.asp
在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。
“CSS” 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)

| 选择器 | 例子 | 例子描述 | CSS | | —- | —- | —- | —- |

| .class | .intro | 选择 class=”intro” 的所有元素。 | 1 |

| #id | #firstname | 选择 id=”firstname” 的所有元素。 | 1 |

| * | * | 选择所有元素。 | 2 |

| element | p | 选择所有 元素。 | 1 |

| element,element | div,p | 选择所有 元素。

| 1 |

| element element | div p | 选择 元素。

| 1 |

| element>element | div>p | 选择父元素为 元素。

| 2 |

| element+element | div+p | 选择紧接在 元素。

| 2 |

| [attribute] | [target] | 选择带有 target 属性所有元素。 | 2 |

| [attribute=value] | [target=_blank] | 选择 target=”_blank” 的所有元素。 | 2 |

| [attribute~=value] | [title~=flower] | 选择 title 属性包含单词 “flower” 的所有元素。 | 2 |

| [attribute|=value] | [lang|=en] | 选择 lang 属性值以 “en” 开头的所有元素。 | 2 |

| :link | a:link | 选择所有未被访问的链接。 | 1 |

| :visited | a:visited | 选择所有已被访问的链接。 | 1 |

| :active | a:active | 选择活动链接。 | 1 |

| :hover | a:hover | 选择鼠标指针位于其上的链接。 | 1 |

| :focus | input:focus | 选择获得焦点的 input 元素。 | 2 |

| :first-letter | p:first-letter | 选择每个 元素的首字母。 | 1 |

| :first-line | p:first-line | 选择每个 元素的首行。 | 1 |

| :first-child | p:first-child | 选择属于父元素的第一个子元素的每个 元素。 | 2 |

| :before | p:before | 在每个 元素的内容之前插入内容。 | 2 |

| :after | p:after | 在每个 元素的内容之后插入内容。 | 2 |

| :lang(language) | p:lang(it) | 选择带有以 “it” 开头的 lang 属性值的每个 元素。 | 2 |

| element1~element2 | p~ul | 选择前面有 元素的每个

| 3 |

| [attribute^=value] | a[src^=”https”] | 选择其 src 属性值以 “https” 开头的每个 元素。 | 3 |

| [attribute$=value] | a[src$=”.pdf”] | 选择其 src 属性以 “.pdf” 结尾的所有 元素。 | 3 |

| [attribute=value] | a[src*=”abc”] | 选择其 src 属性中包含 “abc” 子串的每个 元素。 | 3 |

| :first-of-type | p:first-of-type | 选择属于其父元素的首个 元素的每个
元素。 | 3 |

| :last-of-type | p:last-of-type | 选择属于其父元素的最后 元素的每个
元素。 | 3 |

| :only-of-type | p:only-of-type | 选择属于其父元素唯一的 元素的每个
元素。 | 3 |

| :only-child | p:only-child | 选择属于其父元素的唯一子元素的每个 元素。 | 3 |

| :nth-child(n) | p:nth-child(2) | 选择属于其父元素的第二个子元素的每个 元素。 | 3 |

| :nth-last-child(n) | p:nth-last-child(2) | 同上,从最后一个子元素开始计数。 | 3 |

| :nth-of-type(n) | p:nth-of-type(2) | 选择属于其父元素第二个 元素的每个
元素。 | 3 |

| :nth-last-of-type(n) | p:nth-last-of-type(2) | 同上,但是从最后一个子元素开始计数。 | 3 |

| :last-child | p:last-child | 选择属于其父元素最后一个子元素每个 元素。 | 3 |

| :root | :root | 选择文档的根元素。 | 3 |

| :empty | p:empty | 选择没有子元素的每个 元素(包括文本节点)。 | 3 |

| :target | #news:target | 选择当前活动的 #news 元素。 | 3 |

| :enabled | input:enabled | 选择每个启用的 元素。 | 3 |

| :disabled | input:disabled | 选择每个禁用的 元素 | 3 |

| :checked | input:checked | 选择每个被选中的 元素。 | 3 |

| :not(selector) | :not(p) | 选择非 元素的每个元素。 | 3 |

| ::selection | ::selection | 选择被用户选取的元素部分。 | 3 |

官方文档

http://pyquery.readthedocs.io/