最近工作有个上传和下载的相关的测试,所以就写了一个下载文件(目前都是图片)的方法。​​Java​​​不过瘾,顺手也找了一下​​Groovy​​的下载文件方法。

先说结论:​​Groovy​​真香。

Java下载文件

​Java​​写起来比较麻烦,主要还是抄了一下其他人的代码,测试完之后感觉也不错。

    /**
* 通过url下载图片
*
* @param url
* @param name
*/
public static void down(String url, String name) {
File file = new File(name);
("下载链接:{},存储文件名:{}", url, file.getAbsolutePath());
if (!file.exists())
try {
file.createNewFile();
} catch (IOException e) {
logger.warn("创建文件失败!", e);
}
try (InputStream is = new URL(url).openStream(); OutputStream os = new FileOutputStream(file)) {
int bytesRead = 0;
byte[] buffer = new byte[1024];
while ((bytesRead = is.read(buffer)) != -1) {
os.write(buffer, 0, bytesRead);
}
} catch (IOException e) {
logger.warn("下载文件失败!", e);
}
}

Groovy下载文件

不得不说​​Groovy​​这种语言操作符用的时候太爽了。

    /**
* 从url下载文件
* @param url
* @param name
* @return
*/
static def down(String url, String name) {
new File(name) << new URL(url).openStream()
}

处理文件名

因为这个打算做一个图片的爬虫,所以获取到的图片​​URL​​大比例不会是域名+路径+文件名这样的形式,我搜了几个​​URL​​,发现主要两种不同的类型,一类就是图片后面加了参数,比如URL/a.png?v=3232。还有一类是URL/a.png.webp这类的。

    /**
* 处理下载网络图片的时候明文件的问题
* @param name
* @return
*/
static Tuple2 handlePicName(String url) {
url -= ".webp"
String name = url.substring(url.lastIndexOf("/") + 1);
if (name.contains(UNKNOW)) name = name.substring(0, name.indexOf(UNKNOW))
return new Tuple2<String, String>(url, name)
}

这里用了​​Groovy​​​元组来存储​​URL​​​和​​name​​​,除了​​Tuple2​​​还有,​​Tuple3​​​,​​Tuple4​​​,一直到​​Tuple9​​,是不是挺有趣的。

在这个方法里面我先在​​URL​​​里面删除了​​.webp​​​,因为如果带上这个的话,会导致实际下载的​​URL​​中也会有,使得下载图片质量下降。

改天试一下图片的爬虫效果,敬请期待!