java 实现分片上传断点续传功能 java文件断点续传

转载

mob6454cc6dcf7f 2023-07-18 20:05:40

文章标签 java 实现分片上传断点续传功能 java文件断点续传上传下载解决方案 json 上传服务器 文章分类 Java 后端开发

这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数

下面直接贴代码吧，一些难懂的我大部分都加上注释了：

上传文件实体类：

看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。

publicclassFileInf {
 
     public FileInf(){}
     publicStringid="";
     publicStringpid="";
    publicStringpidRoot="";   
     /**  * 表示当前项是否是一个文件夹项。    */
     publicbooleanfdTask=false;        
     //   /// 是否是文件夹中的子文件  /// </summary>
     publicbooleanfdChild=false;
     /**  * 用户ID。与第三方系统整合使用。    */
     publicintuid=0;
     /**  * 文件在本地电脑中的名称   */
     publicStringnameLoc="";
     /**  * 文件在服务器中的名称。   */
     publicStringnameSvr="";
     /**  * 文件在本地电脑中的完整路径。示例：D:\Soft\QQ2012.exe */
     publicStringpathLoc="";  
     /**  * 文件在服务器中的完整路径。示例：F:\\ftp\\uer\\md5.exe     */
     publicStringpathSvr="";
     /**  * 文件在服务器中的相对路径。示例：/www/web/upload/md5.exe   */
     publicStringpathRel="";
     /**  * 文件MD5    */
     publicStringmd5="";
     /**  * 数字化的文件长度。以字节为单位，示例：120125    */
     publiclonglenLoc=0;
     /**  * 格式化的文件尺寸。示例：10.03MB   */
     publicStringsizeLoc="";
     /**  * 文件续传位置。  */
     publiclongoffset=0;
     /**  * 已上传大小。以字节为单位 */
     publiclonglenSvr=0;
     /**  * 已上传百分比。示例：10%  */
     publicStringperSvr="0%";
     publicbooleancomplete=false;
     publicDatePostedTime = newDate();
     publicbooleandeleted=false;
     /**  * 是否已经扫描完毕，提供给大型文件夹使用，大型文件夹上传完毕后开始扫描。  */
     publicbooleanscaned=false;
}

首先是文件数据接收逻辑，负责接收控件上传的文件块数据，然后写到服务器的文件中。控件已经提供了块的索引，大小，MD5和长度信息，我们可以根据需要来灵活进行处理，也可以将文件块的数据保存到分布式存储系统中。

<%
out.clear();
String uid             = request.getHeader("uid");//
String id              = request.getHeader("id");
String lenSvr      = request.getHeader("lenSvr");
String lenLoc      = request.getHeader("lenLoc");
String blockOffset= request.getHeader("blockOffset");
String blockSize   = request.getHeader("blockSize");
String blockIndex  = request.getHeader("blockIndex");
String blockMd5        = request.getHeader("blockMd5");
String complete        = request.getHeader("complete");
String pathSvr         = "";
 
//参数为空
if(  StringUtils.isBlank( uid )
     || StringUtils.isBlank( id )
     || StringUtils.isBlank( blockOffset ))
{
     XDebug.Output("param is null");
     return;
}
 
// Check that we have a file upload request
boolean isMultipart = ServletFileUpload.isMultipartContent(request);
FileItemFactory factory = new DiskFileItemFactory();  
ServletFileUpload upload = new ServletFileUpload(factory);
List files = null;
try
{
     files = upload.parseRequest(request);
}
catch (FileUploadException e)
{// 解析文件数据错误 
    out.println("read file data error:" + e.toString());
    return;
  
}
 
FileItem rangeFile = null;
// 得到所有上传的文件
Iterator fileItr = files.iterator();
// 循环处理所有文件
while (fileItr.hasNext())
{
     // 得到当前文件
     rangeFile = (FileItem) fileItr.next();
     if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr"))
     {
         pathSvr = rangeFile.getString();
         pathSvr = PathTool.url_decode(pathSvr);
     }
}
 
boolean verify = false;
String msg = "";
String md5Svr = "";
long blockSizeSvr = rangeFile.getSize();
if(!StringUtils.isBlank(blockMd5))
{
     md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream());
}
 
verify = Integer.parseInt(blockSize) == blockSizeSvr;
if(!verify)
{
     msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize;
}
 
if(verify && !StringUtils.isBlank(blockMd5))
{
     verify = md5Svr.equals(blockMd5);
     if(!verify) msg = "block md5 error";
}
 
if(verify)
{
     //保存文件块数据
     FileBlockWriter res = new FileBlockWriter();
     //仅第一块创建
     if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc));
     res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);
     up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));
    
     JSONObject o = new JSONObject();
     o.put("msg", "ok");
     o.put("md5", md5Svr); 
     o.put("offset", blockOffset);//基于文件的块偏移位置
     msg = o.toString();
}
rangeFile.delete();
out.write(msg);
%>

文件初始化部分

<%
out.clear();
WebBase web = new WebBase(pageContext);
String id     = web.queryString("id");
String md5         = web.queryString("md5");
String uid         = web.queryString("uid");
String lenLoc      = web.queryString("lenLoc");//数字化的文件大小。12021
String sizeLoc     = web.queryString("sizeLoc");//格式化的文件大小。10MB
String callback = web.queryString("callback");
String pathLoc     = web.queryString("pathLoc");
pathLoc            = PathTool.url_decode(pathLoc);
 
//参数为空
if (StringUtils.isBlank(md5)
     && StringUtils.isBlank(uid)
     && StringUtils.isBlank(sizeLoc))
{
     out.write(callback + "({\"value\":null})");
     return;
}
 
FileInf fileSvr= new FileInf();
fileSvr.id = id;
fileSvr.fdChild = false;
fileSvr.uid = Integer.parseInt(uid);
fileSvr.nameLoc = PathTool.getName(pathLoc);
fileSvr.pathLoc = pathLoc;
fileSvr.lenLoc = Long.parseLong(lenLoc);
fileSvr.sizeLoc = sizeLoc;
fileSvr.deleted = false;
fileSvr.md5 = md5;
fileSvr.nameSvr = fileSvr.nameLoc;
 
//所有单个文件均以uuid/file方式存储
PathBuilderUuid pb = new PathBuilderUuid();
fileSvr.pathSvr = pb.genFile(fileSvr.uid,fileSvr);
fileSvr.pathSvr = fileSvr.pathSvr.replace("\\","/");
 
DBConfig cfg = new DBConfig();
DBFile db = cfg.db();
FileInf fileExist = new FileInf();
    
boolean exist = db.exist_file(md5,fileExist);
//数据库已存在相同文件，且有上传进度，则直接使用此信息
if(exist && fileExist.lenSvr > 1)
{
     fileSvr.nameSvr             = fileExist.nameSvr;
     fileSvr.pathSvr        = fileExist.pathSvr;
     fileSvr.perSvr              = fileExist.perSvr;
     fileSvr.lenSvr              = fileExist.lenSvr;
     fileSvr.complete       = fileExist.complete;
     db.Add(fileSvr);
    
     //触发事件
    up6_biz_event.file_create_same(fileSvr);
}//此文件不存在
else
{
     db.Add(fileSvr);
     //触发事件
    up6_biz_event.file_create(fileSvr);
    
     FileBlockWriter fr = new FileBlockWriter();
     fr.CreateFile(fileSvr.pathSvr,fileSvr.lenLoc);
}
 
Gson gson = new Gson();
String json = gson.toJson(fileSvr);
 
json = URLEncoder.encode(json,"UTF-8");//编码，防止中文乱码
json = json.replace("+","%20");
json = callback + "({\"value\":\"" + json + "\"})";//返回jsonp格式数据。
out.write(json);%>

第一步：获取RandomAccessFile,随机访问文件类的对象

第二步：调用RandomAccessFile的getChannel()方法，打开文件通道 FileChannel，这块逻辑可以优化，如果以后有分布式存储需求，可以改为分布式存储，减轻单台服务器的压力。

public class FileBlockWriter {  
     public FileBlockWriter(){} 
     public void CreateFile(String pathSvr,long lenLoc)
     {
         try
         {
              File ps = new File(pathSvr);
              PathTool.createDirectory(ps.getParent());
             
             RandomAccessFile raf = new RandomAccessFile(pathSvr, "rw");
             raf.setLength(lenLoc);//fix:以原始大小创建文件
             raf.close();
 
         } catch (IOException e) {
              // TODO Auto-generated catch block
              e.printStackTrace();
         }       
     }
    
     public void write(long offset,String pathSvr,FileItem block)
     {       
         try
         {
              InputStream stream = block.getInputStream();           
              byte[] data = new byte[(int)block.getSize()];
              stream.read(data);
              stream.close();            
             
              RandomAccessFile raf = new RandomAccessFile(pathSvr,"rw");
              raf.seek(offset);
              raf.write(data);
              raf.close();
             
         } catch (IOException e) {
              // TODO Auto-generated catch block
              e.printStackTrace();
         }
     }
}

第三步：获取当前是第几个分块，计算文件的最后偏移量

第四步：获取当前文件分块的字节数组，用于获取文件字节长度

第五步：使用文件通道FileChannel类的 map（）方法创建直接字节缓冲器 MappedByteBuffer

第六步：将分块的字节数组放入到当前位置的缓冲区内 mappedByteBuffer.put(byte[] b);

第七步：释放缓冲区

第八步：检查文件是否全部完成上传

java 实现分片上传断点续传功能 java文件断点续传_java文件断点续传上传下载解决方案