使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截

问题的抛出

今天有合作商户反映，批付交易完成后，在我方服务器以“服务器点对点通信”的方式通知请求对方服务器时，对方拦截了请求。并贴了一张截图。

从截图可以看出来，对方拦截了我们的user-agent（Apache-HttpClient）。

 

什么是User-Agent？通常我们用浏览器访问一个网页，当我们向服务器发送请求时，浏览器会将一些头信息附加上，然后发给服务器，其中就包括User-Agent。一些网站的网页，为了防止爬虫或恶意访问，会首先判断请求头的User-Agent，如果不是浏览器请求，则会直接拒绝请求。（里也提到，直接用HttpClient发起请求csdn时，会收到403 Forbidden）
不同版本的谷歌浏览器的User-Agent：
Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)

 

解决问题

通过分析httputil代码，发现我方并未设置请求头的user-agent属性。 原来，经模拟点对点请求的测试证明，如果不设置的话，它的值默认是：Apache-HttpClient。

技术支持同事为了照顾合作商户的感受，建议我方改一下。那么，自然是加上user-agent来模拟正常的浏览器请求客户服务器就可以了。
当然，单从技术角度来看，另一个同事的给的建议也许更好：因为这是个服务器点对点通信，所以若要从安全方面控制，应该通过诸如ip白名单的方式，而不是通过User-Agent判断是不是浏览器请求。

 

httputil代码（user-agent不区分大小写）：

;
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("User-Agent",userAgent);
    response = httpclient.execute(httpGet);

 

getHttpClient();
    。。。。。
    HttpPost post = new HttpPost(url);
    post.setHeader("user-agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    CloseableHttpResponse httpResponse = httpClient.execute(post);

 

new URL(url);
    HttpURLConnection uc = (HttpURLConnection) urls.openConnection();
    uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    。。。
    uc.setRequestMethod("POST");
    。。。