HttpClient（四）-- 使用代理IP 和超时设置

原创

码咖moon 2021-12-21 11:33:07 博主文章分类：HttpClient ©著作权

文章标签 HttpClient 代理IP 超时设置链表连接超时 文章分类 代码人生

©著作权归作者所有：来自51CTO博客作者码咖moon的原创作品，请联系作者获取转载授权，否则将追究法律责任

1.代理IP的用处：

　　在爬取网页的时候，有的目标站点有反爬虫机制，对于频繁访问站点以及规则性访问站点的行为，会采集屏蔽IP措施。这时候，就可以使用代理IP，屏蔽一个就换一个IP。

2.代理IP分类：

　　代理IP的话也分几种：透明代理、匿名代理、混淆代理、高匿代理，一般使用高匿代理。

3.使用 RequestConfig.custom().setProxy(proxy).build() 来设置代理IP：

public static void main(String[] args) throws ClientProtocolException, IOException {
        // 创建httpClient实例
        CloseableHttpClient httpClient = HttpClients.createDefault();
        // 创建httpGet实例
        HttpGet httpGet = new HttpGet("http://www.tuicool.com");
        // 设置代理IP，设置连接超时时间 、 设置 请求读取数据的超时时间 、 设置从connect Manager获取Connection超时时间、
        HttpHost proxy = new HttpHost("122.228.25.97", 8101);
        RequestConfig requestConfig = RequestConfig.custom()
                .setProxy(proxy)
                .setConnectTimeout(10000)
                .setSocketTimeout(10000)
                .setConnectionRequestTimeout(3000)
                .build();
        httpGet.setConfig(requestConfig);
        // 设置请求头消息
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");
        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){
            HttpEntity entity = response.getEntity();  // 获取返回实体
            if(entity != null){
                System.out.println("网页内容为：" + EntityUtils.toString(entity, "utf-8"));
            }
        }
        if(response != null){
            response.close();
        }
        if(httpClient != null){
            httpClient.close();
        }
    }