Java爬虫 - Jsoup - 《【技巧】Java技术手册》

3.1 Jsoup介绍
3.2 解析Url
3.3 解析字符串
3.4 解析文件
3.5 使用DOM方式遍历文档
3.6 Selector选择器概述

我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术—Jsoup。

3.1 Jsoup介绍

jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文木内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：

从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据;
可操作HTML元素、属性、文本。

添加jsoup相关依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>cn.itbuild</groupId>
    <artifactId>itbuild-crawler-first</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <!--引入jar包-->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
        </dependency>
        <!--Jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.11.3</version>
        </dependency>
        <!--测试-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <!--操作文件FileUtils-->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.4</version>
        </dependency>
        <!--操作字符串StringUtils-->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.4</version>
        </dependency>
    </dependencies>
</project>

3.2 解析Url

虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而 jsoup 对这些的支持并不是很好，所以我们一般把jsoup 仅仅作为 Html解析工具使用。

package cn.itbuild.test;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.junit.Test;
import java.net.URL;
/**
 * @Date 2020/12/21 22:53
 * @Version 10.21
 * @Author DuanChaojie
 */
public class JsoupTest {
    @Test
    public void testUrl() throws Exception {
        // 1. 解析url地址, 第一个参数是访问的url, 第二个参数时访问时候的超时时间
        Document doc = Jsoup.parse(new URL("http://www.itcast.cn"), 1000);
        // 2. 使用标签选择器, 获取title标签中的内容
        String title = doc.getElementsByTag("title").first().text();
        // 3.打印
        System.out.println(title);
    }
}

将test.html的路径在JsoupTest中先定义好：

    private static final String TESTHTML = "E:\\file\\gitee\\itbuild-crawler-first\\src\\main\\java\\cn\\itbuild\\crawler\\test\\test.html";

test.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>传智教育官网-好口碑IT培训机构,一样的教育,不一样的品质</title>
    <style>
        .class_a{
        }
        .class_b{
        }
        .a_name{
        }
    </style>
</head>
<body>
<div class="city">
    <h3 id="city_bj">北京中心</h3>
    <div class="city_in">
        <div class="city_con" style="display:none;">
            <ul>
                <li id="test" class="class_a class_b">
                    <a href="http://www.itcast.cn" target="_blank" >
                        <span class="a_name">北京</span>
                    </a>
                </li>
                <li>
                    <a href="http://sh.itcast.cn" target="_blank">
                        <span class="a_name">上海</span>
                    </a>
                </li>
                <li>
                    <a href="http://gz.itcast.cn" target="_blank">
                        <span abc="123" class="a_name">广东</span>
                    </a>
                </li>
            </ul>
            <ul>
                <li>天津</li>
            </ul>
        </div>
    </div>
</div>
</body>
</html>

3.3 解析字符串

    @Test
    public void testString() throws Exception {
        // 1. 使用工具类读取文件, 获取字符串
        String content = FileUtils.readFileToString(new File(TESTHTML), "utf8");
        // 2. 解析字符串
        Document doc = Jsoup.parse(content);
        String title = doc.getElementsByTag("title").first().text();
        // 3.打印
        System.out.println(title);
    }

3.4 解析文件

    @Test
    public void testFile() throws Exception {
        // 1. 解析文件
        Document doc = Jsoup.parse(new File(TESTHTML), "utf8");
        String title = doc.getElementsByTag("title").first().text();
        System.out.println(title);
    }

3.5 使用DOM方式遍历文档

元素获取：

根据id查询元素 getElementByld
根据标签获取元素getElementsByTag
根据class获取元素getElementsByClass
根据属性获取元素getElementsByAttribute

    @Test
    public void testDom() throws Exception {
        // 解析文件, 获取Document对象
        Document doc = Jsoup.parse(new File(TESTHTML), "utf8");
        // 1.根据id查询元素getElementById
        Element element = doc.getElementById("city_bj");
        // 2.根据标签获取元素getElementsByTag
        Elements spans = doc.getElementsByTag("span");
        // 3.根据class获取元素getElementsByClass
        Element clazz = doc.getElementsByClass("class_a class_b").first();
        // 4.根据属性获取元素getElementsByAttribute
        Element abc = doc.getElementsByAttribute("abc").first();
        // 5.根据属性与属性值筛选
        Element href = doc.getElementsByAttributeValue("href", "http://sh.itcast.cn").first();
        // 打印元素内容
        System.out.println("获取到的元素内容是: " + element.text());
        for (Element span : spans) {
            System.out.println(span.text());
        }
        System.out.println(clazz.text());
        System.out.println("abc.text() = " + abc.text());
        System.out.println("href.text() = " + href.text());
    }

元素中获取数据：

从元素中获取id
从元素中获取className
从元素中获取属性的值 attr
从元素中获取所有属性attributes

从元紊中获取文本内容 text

 @Test
 public void testDate() throws IOException {
     // 1.解析文件获取Document
     Document doc = Jsoup.parse(new File(TESTHTML), "utf8");
     // 2.根据id获取元素
     Element element = doc.getElementById("test");
     String str = "";
     //元素中获取数据：
     // 1. 从元素中获取id
     str = element.id();
     // 2. 从元素中获取className
     str = element.className();
     Set<String> sets = element.classNames();
     for (String set : sets) {
         System.out.println("set = " + set);
     }
     // 3. 从元素中获取属性的值 attr
     str = element.attr("id");
     str = element.attr("class");
     // 4. 从元素中获取所有属性attributes
     Attributes attributes = element.attributes();
     System.out.println("attributes = " + attributes.toString());
     // 5. 从元紊中获取文本内容 text
     str = element.text();
     // 打印获取到的内容
     System.out.println("获取到的数据：" + str);
 }

3.6 Selector选择器概述

tagname：通过标签查找元素，比如： span
#id：通过ID查找元素，比如：#city_bj .class：通过 class名称查找元素，比如：.class_a
[attribute]：利用属性查找元素，比如：[abc]
[attr=value]：利用属性值来查找元素，比如：[class=s_name] ```java @Test public void testSelector() throws Exception{

 // 解析html文件，获取Document对象
 Document doc = Jsoup.parse(new File(TESTHTML), "utf8");

    Elements spans = doc.select("span");
    for (Element span : spans) {
        System.out.println(span.text());
    }

    Element element = doc.select("#city_bj").first();

    element = doc.select(".class_a").first();

    element = doc.select("[abc]").first();

    element = doc.select("[class=a_name]").first();

    System.out.println("获取到的结果为：" + element.text());
}

<a name="gLqmD"></a>
#### <br />3.7 Selector选择器组合使用
```java
    @Test
    public void testSelector2() throws Exception {
        // 解析html文件, 获取Document对象
        Document doc = Jsoup.parse(new File(TESTHTML), "utf8");

        //el#id: 元素+ID，比如： h3#city_bj
        //Element element = doc.select("h3#city_bj").first();

        //el.class: 元素+class，比如： li.class_a
        //Element element = doc.select("li.class_a").first();

        //el[attr]: 元素+属性名，比如： span[abc]
        //Element element = doc.select("span[abc]").first();

        //任意组合: 比如：span[abc].s_name
        Element element = doc.select("span[abc].a_name").first();

        // 后代选择器
        //Elements elements = doc.select(".city_con li");

        // 父子选择器
        //Elements elements = doc.select(".city_con > ul > li");

        //parent > *: 查找某个父元素下所有直接子元素
        Elements elements = doc.select(".city_con > ul > *");

        // 打印
        System.out.println("获取到的内容是: " + element.text());

        for (Element ele : elements) {
            System.out.println("遍历的结果: " + ele.text());
        }
    }