com.codeborne phantomjsdriver 1.4.4

```java
// 设置参数, 指定pantomjs 安装路径
DesiredCapabilities dcaps = new DesiredCapabilities();
// 指定 PhantomJS 浏览器位置
dcaps.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,"phantomjs 安装路径");
// 创建一个 RemoteWebDriver 对象相当于启动浏览器
RemoteWebDriver driver = new PhantomJSDriver(dcaps);
// 让 Driver 对象访问一个路径
driver.get("https://www.jd.com");
// 执行js语句
driver.executeScript("window.scrollTo(0,document.body.scrollHeight - 300)");
Thread.sleep(3000);
// 从 Driver 对象中取出浏览器渲染之后的结果
List<WebElement> list =  driver.findElementsByClassSelector("css选择器");
// 关闭浏览器
driver.close();

chrome 无头浏览器使用

1. 安装chrome浏览器
2. 安装chrome浏览器的驱动. 把chromedriver.exe文件放到chrome.exe所在的目录中
3. 编写代码. 创建chrome浏览器的配置信息
4. 给予配置信息创建RemoteWebDriver对象
5. 使用Driver对象访问一个网站
6. 使用driver控制网站的动作

7. 关闭浏览器

   public class ChromeTest{
    public static void main(String[] args){
        // 创建配置信息, 指定Chrome浏览器安装位置
        System.setProperty("webdriver.chrome.driver","chrome driver.exe 驱动路径");
        ChromeOptions chromeOptions = new ChromeOptions();
        // 设置为 headless 模式(必须)[有些版本设置无法启动浏览器]
           chromeOptions.addArguments("--headless");
        // 设置浏览器窗口打开大小(非必须)
        chromeOptions.addArguments("--window-size=1920,1080");
        // 基于配置信息创建RemoteWebDriver对象
        RemoteWebDriver driver = new ChromeDriver(chromeOptions);
        // 使用 Drier 对象访问一个网站
        driver.get("https://www.jd.com");
        // 使用 driver 控制网站的动作(输入框输入手机关键词)
        driver.findElementByCssSelector("#key").sendKeys("手机");
        // 点击搜索按钮
        Thread.sleep(2000);
        driver.findElementByCssSelector("#search-link").click();
        Thread.sleep(2000);
        // 页面滚动到页面下方
        driver.executeScript("window.scrolTo(0,document.body.scrollHeight - 300)");
        Thread.sleep(2000);
        // 取对应节点信息
        List<WebElement> list = driver.findElementsByCssSelector("li.gl-item");
        // 关闭浏览器
        driver.close();
    }
   }

   案例抓取京东首页页面数据

   下载页面 ```java import java.util.List;

import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; import org.openqa.selenium.remote.RemoteWebDriver;

import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Request; import us.codecraft.webmagic.Task; import us.codecraft.webmagic.downloader.Downloader; import us.codecraft.webmagic.selector.PlainText;

public class JdDownloader implements Downloader {

private RemoteWebDriver driver;
/**
 * 初始化无头浏览器信息
 */
public JdDownloader() {
    // 创建配置信息, 指定Chrome浏览器安装位置
    System.setProperty("webdriver.chrome.driver", "chrome driver.exe 驱动路径");
    ChromeOptions chromeOptions = new ChromeOptions();
    // 设置为 headless 模式(必须)
    // chromeOptions.addArguments("--headless");
    // 设置浏览器窗口打开大小(非必须)
    chromeOptions.addArguments("--window-size=1920,1080");
    driver = new ChromeDriver(chromeOptions);
}
/**
 * 下载页面的业务逻辑操作
 */
@Override
public Page download(Request request, Task task) {
    // 从request 中获取访问的 url
    String url = request.getUrl();
    try {
        // 判断是否是下一页动作
        if (!url.equalsIgnoreCase("https://nextpage.com")) {
            // 请求 URL
            driver.get(url);
            // 抓取页面元素
            List<WebElement> list = driver.findElementsByCssSelector("li.gl-item");
            // 列表页面
            if (list.size() > 0) {
                // 页面需要滚动到最下面
                driver.executeScript("window.scrollTo(0,document.body.scrollHeight - 300)");
                Thread.sleep(2000);
                // 从浏览器中获取数据
                String html = driver.getPageSource();
                return createPage(html, driver.getCurrentUrl());
            }
            // 详情页面
            String html = driver.getPageSource();
            return createPage(html, driver.getCurrentUrl());
        } else {
            // 翻页页面处理
            // 从request对象取出附加参数, 要翻页之前的URL
            String curUrl = request.getExtra("url");
            // 访问URL
            driver.get(curUrl);
            // 点击翻页按钮, 到第二页
            driver.findElementByCssSelector("#J_topPage > a.fp-next").click();
            Thread.sleep(2000);
            // 让页面滚动到下方, 加载后30条数据
            driver.executeScript("window.scrollTo(0,document.body.scrollHeight - 300)");
            Thread.sleep(2000);
            // 取浏览器渲染的html结果
            String html = driver.getPageSource();
            // 封装成page对象返回
            return createPage(html, driver.getCurrentUrl());
        }
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return null;
}
@Override
public void setThread(int threadNum) {
    // TODO: 一般默认就好,不用修改
}
/**
 * 将HTML封装成page对象
 * 
 * @param html
 * @param url
 * @return
 */
private Page createPage(String html, String url) {
    Page page = new Page();
    page.setRawText(html);
    page.setUrl(new PlainText(url));
    page.setRequest(new Request(url));
    // 设置页面抓取成功
    page.setDownloadSuccess(true);
    return page;
}

}

初始爬虫
```java
import java.util.ArrayList;
import java.util.List;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;
/**
 * 无头浏览器爬取数据
 *
 */
public class JdWebMagic implements PageProcessor {
    @Override
    public void process(Page page) {
        // 判断是不是详情页面
        Html html = page.getHtml();
        List<Selectable> nodes = html.css("li.gl-item").nodes();
        if (nodes.size() > 0) {
            List<Item> itemList = new ArrayList<>();
            // 是列表页面, 解析 squ,sku,详情URL
            for (Selectable node : nodes) {
                String sku = node.css("li", "data-sku").get();
                String spu = node.css("li", "data-spu").get();
                String img = node.css("li img", "source-data-lazy-img").get();
                Item item = Item.builder().sku(sku).spu(spu).img(img).build();
                itemList.add(item);
            }
            // 将商品信息传递给pipeline
            page.putField("itemList", itemList);
            // 解析商品详情地址, 并添加到访问队列中
            // String href = html.css("li.gl-item div.p-img a", "href").get();
            List<String> urlList = html.css("li.gl-item div.p-img").links().all();
            page.addTargetRequests(urlList);
            // 需要翻页处理, 设置一个固定的url: https://nextpage.com, 以request 的附加参数传递
            Request request = new Request("https://nextpage.com");
            // 把当前URL添加到request附加参数中
            request.putExtra("url", page.getUrl().get());
            return;
        } else {
            // 是详情页面
            parseItemInfo(page);
        }
    }
    @Override
    public Site getSite() {
        return Site.me();
    }
    // 解析详情页面
    private void parseItemInfo(Page page) {
        Html html = page.getHtml();
        // sku
        String sku = html.css("div.preview-info > div.left-btns > a.follow.J-follow", "data-id").get();
        String title = html.css("div.sku-name", "text").get();
        String price = html.css("span.p-price > span.price", "text").get();
        String img = html.css("#spec-img", "src").get();
        String url = page.getUrl().get();
        Item item = Item.builder().sku(sku).title(title).price(price).img(img).url(url).build();
        page.putField("item", item);
    }
}
@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
class Item {
    private String sku;
    private String spu;
    private String title;
    private String img;
    private String price;
    private String url;
}

保存数据

import java.util.List;
import cn.hutool.core.lang.Console;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;
/**
 * 数据持久化
 */
public class JdPipeline implements Pipeline {
    @Override
    public void process(ResultItems resultItems, Task task) {
        // TODO: 此处只打印输出, 具体保存请
        // 商品详情数据
        List<Item> itemInfos = resultItems.get("itemList");
        Console.log(itemInfos);
        // 商品数据
        List<Item> items = resultItems.get("item");
        Console.log(items);
    }
}

启动爬虫

public static void main(String[] args) {
    QueueScheduler scheduler = new QueueScheduler();
    scheduler.setDuplicateRemover(new BloomFilterDuplicateRemover(10000000));
    Spider spider = Spider.create(new JdWebMagic());
    spider.setDownloader(new JdDownloader());
    spider.addPipeline(new JdPipeline());
    spider.setScheduler(scheduler);
    spider.thread(1);
    spider.addUrl("https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=3d9d1a2fcb344c0bad4cf24030a6ce4f");
    spider.start();
}

chromedriver 驱动下载

chrome driver 驱动下载

下载和当前浏览器版本匹配度的驱动