网易数帆的对象存储服务不错,企业用户免费,可以绑定 https 域名等等。官方提供了 SDK 调用对象存储的各种服务,是挺好的挺方便的,不过就是 SDK 依赖臃肿,本人不是很待见,于是改用其 HTTP 接口来简单完成文件上传的服务,可以说是折腾了一把。本文采用 Java 语言完成。
生成授权信息
为鉴别授权,必须在 HTTP 请求头中包含 Authorization 字段,该字段就是授权信息,必须严格遵守其 API 生成授权信息,否则不能访问其服务(只能匿名地部分访问)。生成方法如下(参考了官方文档)。
Authorization = "NOS " + AccessKey + ":" + Signature
Signature = Base64(HMAC-SHA256(SecretKey,
HTTP-Verb + "\n"
+ Content-MD5 + "\n"
+ Content-Type + "\n"
+ Date + "\n"
+ CanonicalizedHeaders
+ CanonicalizedResource))
说明:
- HTTP-Verb 表示 HTTP 请求类型,如:PUT,GET,DELETE 等
- Content-MD5 表示内容数据的 MD5 值,某些 API 该字段非必须
- Content-Type 表示内容的类型,某些 API 该字段非必须
- Date 表示此次操作的时间,格式必须符合 RFC1123 的日期格式,示例:
Wed, 01 Mar 2009 12:00:00 GMT
- CanonicalizedHeaders 表示请求中其他重要的 HTTP 头。
- CanonicalizedResource 表示用户想要访问的 NOS 资源。
其中,Date 和 CanonicalizedResource 不能为空,其余字段如为空,用空字符串""代 替;如果请求中的 Date 时间和 NOS 服务器的时间差正负 15 分钟以上,NOS 服务器将拒绝该服务 ,并返回错误码:AccessDenied。
构建 CanonicalizedHeaders 的方法和构建 CanonicalizedResource 的方法参见下面代码。
/**
* 生成验证的字符串
*
* @param data
* @return
*/
private static String getAuthorization(String data) {
String accessKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey");
String secretKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.secretKey");
String signature = Encode.base64Encode(SymmetriCipher.HMACSHA256(data, secretKey));
String authorization = "NOS " + accessKey + ":" + signature;
return authorization;
}
注意如 ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey")
这里是我们调用配置读取的方法,分别读取了访问 key 和密钥。你可以修改为你自己的 Config 配置系统。
列出所有的桶
这是一个比较简单的任务,请求参数很少,适合测试签名是否通过。具体代码如下,返回 XML 结果。
/**
* 列出所有的桶
*
* @return XML 结果
*/
public static String listBuk() {
String now = getDate();
String canonicalizedHeaders = "", canonicalizedResource = "/";
String data = "GET\n" + "\n" + "\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
String authorization = getAuthorization(data);
String xmlResult = HttpBasicRequest.get("http://nos-eastchina1.126.net", false, conn -> {
conn.addRequestProperty("Authorization", authorization);
conn.addRequestProperty("Date", now);
conn.addRequestProperty("Host", "nos-eastchina1.126.net");
});
return xmlResult;
}
值得一提的是,我们的 HTTP 请求库采用了自家的 AJAXJS 框架,具体就是通过一个 Java 8 的 lambda 完成了 HTTP 头的设置,如上例的 Authorization、Date、Host 必填字段。详细请参考框架简介。
依赖的 getDate()
源码如下。
/**
* 请求的时间戳,格式必须符合 RFC1123 的日期格式
*
* @return 当前日期
*/
private static String getDate() {
SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);
format.setTimeZone(TimeZone.getTimeZone("GMT"));
return format.format(new Date());
}
创建空文件
在正式上传文件之前,我们看看比较简单的一个例子:创建空文件。话不多说,见源码如下。
/**
* 创建空文件
*
* @param filename 文件名
*/
public static void createEmptyFile(String filename) {
String bucket = ConfigService.get("uploadFile.ObjectStorageService.NOS.bucket");
String now = getDate();
String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;
String data = "PUT\n" + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
String authorization = getAuthorization(data);
// 这里改为你的存储空间地址
HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, new byte[0], conn -> {
conn.addRequestProperty("Authorization", authorization);
conn.addRequestProperty("Content-Length", "0");
conn.addRequestProperty("Date", now);
conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net"); // 这里改为你的存储空间地址
}, null);
}
空文件就是上次字节为 0 的资源。注意存储空间地址可以改为你的配置系统,而不是像这里的写死了。
上传文件
上传文件是本文的重点了,前面所有的尝试都是为了这里的文件上传。
/**
* 上传文件
*
* @param filePath 文件路径
* @param filename 文件名,若不指定则按原来的文件名
*/
public static void uploadFile(String filePath, String filename) {
String bucket = ConfigService.getValueAsString("uploadFile.ObjectStorageService.NOS.bucket");
File file = new File(filePath);
if (filename == null)
filename = file.getName();
String md5 = calcMD5(file);
String now = getDate();
String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;
String data = "PUT\n" + md5 + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;
String authorization = getAuthorization(data);
// 这里改为你的存储空间地址
HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, FileHelper.openAsByte(file), conn -> {
conn.addRequestProperty("Authorization", authorization);
conn.addRequestProperty("Content-Length", file.length() + "");
// conn.addRequestProperty("Content-Type", "");
conn.addRequestProperty("Content-MD5", md5);
conn.addRequestProperty("Date", now);
// conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net");
// conn.addRequestProperty("x-nos-entity-type", "json");
}, null);
}
为校验文件完整性,API 允许上传者设置一个 Content-MD5
字段来作校验。具体方法如下几个方法。
/**
* 计算文件 MD5
*
* @param file
* @return 返回文件的md5字符串,如果计算过程中任务的状态变为取消或暂停,返回null, 如果有其他异常,返回空字符串
*/
protected static String calcMD5(File file) {
try (InputStream stream = Files.newInputStream(file.toPath(), StandardOpenOption.READ)) {
byte[] buf = new byte[8192];
int len;
MessageDigest digest = MessageDigest.getInstance("MD5");
while ((len = stream.read(buf)) > 0)
digest.update(buf, 0, len);
return toHexString(digest.digest());
} catch (IOException | NoSuchAlgorithmException e) {
e.printStackTrace();
return "";
}
}
private static final char[] hexCode = "0123456789ABCDEF".toCharArray();
/**
*
* @param data
* @return
*/
private static String toHexString(byte[] data) {
StringBuilder r = new StringBuilder(data.length * 2);
for (byte b : data) {
r.append(hexCode[(b >> 4) & 0xF]);
r.append(hexCode[(b & 0xF)]);
}
return r.toString();
}
当然了,文件越大,计算 MD5 时间越长。这点要注意。
指定文件夹
若指定文件夹的话,需要注意构建 CanonicalizedResource 的方法:资源为 /BucketName/ObjectName
含有路径前缀:/BucketName/
文件夹路径前缀%2FObjectName
;又例如 bucketname 为 file201503,资源路径为/domain/domain.txt
,则CanonicalizedResource 为/file201503/domain%2Fdomain.txt
。
上传的 PUT 的路径也是如此,例如截图中的,
这里是个例子所以是写死的,实际中当然要修改。
测试
我们通过一个 main
方法简单测试下。
public static void main(String[] args) {
ConfigService.load("c:\\project\\aj-website-site_config.json");
System.out.println(listBuk());
createEmptyFile("test.jpg");
uploadFile("C:\\project\\ajaxjs-maven-global.xml");
}