Java爬虫项目实战案例四之Jsoup使用

原创

说文科技 2021-07-07 14:36:49 ©著作权

©著作权归作者所有：来自51CTO博客作者说文科技的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java爬虫项目实战案例四之 `Jsoup` 使用

1. `Jsoup`简介

Jsoup是一款java的HTML解析器，可直接解析某个URL地址，HTML文本内容。它提供了一套非常简便的API，可通过DOM，CSS以及类似jQuery的操作方法来取出数据和操作数据。
在爬取到网页之后，就需要使用Jsoup进行网页的解析。

2. 代码

public static void test3() throws IOException{
        CloseableHttpClient httpClient = HttpClients.createDefault();//创建httpClient实例
        HttpGet httpGet = new HttpGet("网址"); //创建httpGet实例

        HttpHost proxy = new HttpHost("114.235.22.147", 9000);
        RequestConfig config = RequestConfig
                .custom()
                .setProxy(proxy)
                .setConnectTimeout(10000)//连接超时
                .setSocketTimeout(10000)//读取超时
                .build();
        httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:63.0) Gecko/20100101 Firefox/63.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);//指向http get请求

        HttpEntity entity = response.getEntity();//获取返回实体

        //System.out.println("网页内容："+ EntityUtils.toString(entity,"utf-8"));//获取网页内容
        System.out.println("Content-Type :"+entity.getContentType());//获取内容类型
        System.out.println("Status : "+response.getStatusLine());//判断响应状态

        String content = EntityUtils.toString(entity);

        //way 1:
        Document docment = Jsoup.parse(content);
        Elements elements = docment.getElementsByTag("title");
        Element speciEle = elements.get(0);
        String title = speciEle.text();
        System.out.println("网页标题是："+title);


        //way 2
        Element site_nav_top = docment.getElementById("site_nav_top");
        String slogan = site_nav_top.text();
        System.out.println("slogan :" + slogan);

        response.close();
        httpClient.close();
    }

3.执行结果

Java爬虫项目实战案例四之Jsoup使用_# Java

4.代码详解

获取信息方式1

        //way 1:
        Document docment = Jsoup.parse(content);
        Elements elements = docment.getElementsByTag("title");
        Element speciEle = elements.get(0);
        String title = speciEle.text();
        System.out.println("网页标题是："+title);

content是上文的entity得到
通过Jsoup解析content，得到一个Document对象
每个Document对象中包涵很多元素，但是我们只需要Tag = 'title’的集合，注意这里是集合。所以如果需要某个具体的值，就需要指定集合中元素的下标，这里取下标为0 的Element。【这时取到的就是Element，而是不Elements】
然后通过取出来的Element对象获取其中的文本。最后输出
获取信息方式2

        //way 2
        Element site_nav_top = docment.getElementById("site_nav_top");
        String slogan = site_nav_top.text();
        System.out.println("slogan :" + slogan);