在互联网这个圈子,每每说起爬虫,大家总是会说起python , 但是除了python , 我们用Java也是可以完成的。最近生活比较拮据,买东西总想买凑一波打折,在现在生活中, 我们可以一家超市一家超市的跑, 然后看哪家最便宜,但习惯网购的我们,可能更多的会选择打开淘宝或者京东看看。但并不是每次都凑巧想要的东西都在打折,那我们就会不停的去刷新页面,看看有没有打折,有没有降价。
如以前几篇文章所说,人力能在电脑上完成的,计算机也一定可以帮我们完成。今天就来试一下,用java程序来帮我们进行价格的监控。
思路:
我们是通过打开浏览器,然后输入京东的官网,找到自己想要的东西,然后看价格。发现不是自己想要的价格就先放那,过段时间再来刷新一次。
那用程序来做也是这么一个思路。 打开京东的网址,然后去找到价格,看看是不是我们想要的价格。
技术选型:承接上文的maven项目,我们用Jdk10自带的HttpClient去模拟浏览器的请求。用jsoup去分析html页面(需要引入jsoup的pom依赖)。
在页面上人工获取价格的方式如下图所示:
image.png
在pom.xml的 dependencies节点下添加:
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
jdk10 HttpClient相关用法参考:
<u>https://developer.oracle.com/java/jdk-http-client</u>
实现代码如下:
public static void main(String[] args) {
//我们想监控价格的商品url
String url = "https://item.m.jd.com/product/5444550.html";
HttpClient client = HttpClient.newHttpClient();
//构造我们的请求
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(url))
.build();
try {
HttpResponse<byte[]> response = client.send(request, BodyHandler.asByteArray());
byte[] responseStr = response.body();
//对返回值进行解码
String str = new String(responseStr,"gbk");
//对页面的Html转换成java对象
Document doc = Jsoup.parse(str);
//通过id获取到对应的元素
Elements eles =doc.select("#priceSale");
String text = eles.get(0).text();
//输出元素的值,即我们想要的价格
System.out.println(text);
} catch (Exception e) {
e.printStackTrace();
}
}
注:因为使用到jdk10的实验室功能httpclient,所以需要在启动时加上jvm参数:
--add-modules=jdk.incubator.httpclient
程序的输出结果:
image.png
有兴趣的小伙伴可以自己试一试,以此程序为蓝本,可以扩展成一个全网比价的小程序,就可以便宜的买买买啦