java httpclient爬虫

原创

mob649e815574e6 2023-09-24 07:54:35 ©著作权

文章标签 apache Java java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815574e6的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java HttpClient爬虫

在现代的互联网时代，网络爬虫成为了一项重要的技术。网络爬虫可以自动地从互联网上获取数据，并进行处理分析。Java作为一种广泛使用的编程语言，提供了各种各样的库和框架来帮助我们实现网络爬虫。其中，HttpClient是一个非常实用的库，它提供了方便易用的API来发送HTTP请求和处理响应。本文将介绍如何使用Java HttpClient实现一个简单的网络爬虫，并通过代码示例来演示。

什么是HttpClient

HttpClient是Apache HttpComponents项目中的一个子项目，它是一个用于发送HTTP请求和处理响应的Java库。它提供了强大且易用的API，支持各种HTTP协议的特性，如GET、POST请求、表单提交、文件上传下载等。我们可以使用HttpClient来实现网络爬虫，从互联网上获取数据。

使用HttpClient发送GET请求

首先，我们需要导入HttpClient的相关依赖。可以使用Maven来管理依赖：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

下面是一个使用HttpClient发送GET请求的示例代码：

import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;

public class HttpClientExample {

    public static void main(String[] args) {
        HttpClient httpClient = HttpClientBuilder.create().build();
        HttpGet request = new HttpGet("
        
        try {
            HttpResponse response = httpClient.execute(request);
            String responseBody = EntityUtils.toString(response.getEntity());
            System.out.println(responseBody);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在上面的代码中，我们首先创建了一个HttpClient实例，然后创建一个HttpGet实例，并设置要请求的URL。接下来，通过调用httpClient.execute(request)方法来发送请求，并获取响应。最后，我们通过EntityUtils.toString(response.getEntity())方法将响应实体转换为字符串，并打印出来。

使用HttpClient发送POST请求

除了发送GET请求，我们还可以使用HttpClient发送POST请求。下面是一个使用HttpClient发送POST请求的示例代码：

import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;

import java.util.ArrayList;
import java.util.List;

public class HttpClientExample {

    public static void main(String[] args) {
        HttpClient httpClient = HttpClientBuilder.create().build();
        HttpPost request = new HttpPost("
        
        try {
            List<NameValuePair> params = new ArrayList<>();
            params.add(new BasicNameValuePair("username", "admin"));
            params.add(new BasicNameValuePair("password", "123456"));
            request.setEntity(new UrlEncodedFormEntity(params));
            
            HttpResponse response = httpClient.execute(request);
            String responseBody = EntityUtils.toString(response.getEntity());
            System.out.println(responseBody);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在上面的代码中，我们首先创建了一个HttpClient实例，然后创建一个HttpPost实例，并设置要请求的URL。接下来，我们创建一个List来存放POST请求的参数，并通过new UrlEncodedFormEntity(params)方法将参数转换为可发送的实体。最后，通过调用httpClient.execute(request)方法来发送请求，并获取响应。