大文件传输方案

1.项目背景

项目后端框架是springboot，后端与后端之间需要进行文件传输，这个文件大小从几兆到10G不等，当文件太大时，传输可能存在失败超时等各种问题。所以涉及这种大文件传输时，直接传输是不可行的，需要有其他方式进行传输，传输的方式主要有两种：
1.http协议
传输的文件大小有限制，当文件越大时，传输较慢，而且会占用应用需要的内存，所以这种方式传输需要对文件进行拆分，将大文件拆分成小文件后再按小文件传输。

 

2.ftp/minio等三方传输
在接收端搭建ftp/minio等三方的文件存储服务器，然后通过接口向服务器传输数据，这种传输方式对文件大小限制较小，不需要拆分，而且文件越大，与http协议相比传输的效率是越快的。

 

2.解决方案

1.文件拆分传输
文件拆分代码：

public static void splitFile(String filePath, String outputPath){
        File file=new File(filePath);
        RandomAccessFile in=null;
        RandomAccessFile out =null;
        long length=file.length();//文件大小
        log.info("需要上传的zip文件大小为:{}kb",length/1024);
        long splitSize=50*1024*1024;//单片文件大小,50M
        long count=length%splitSize==0?(length/splitSize):(length/splitSize+1);//文件分片数
        byte[] bt=new byte[1024];
        try {
            in=new RandomAccessFile(file, "r");
            for (int i = 1; i <= count; i++) {
                out = new RandomAccessFile(new File(outputPath+"/"+file.getName()+"."+i+".part"), "rw");//定义一个可读可写且后缀名为.part的二进制分片文件
                long begin = (i-1)*splitSize;
                long end = i* splitSize;
                int len=0;
                in.seek(begin);
                while (in.getFilePointer()<end&&-1!=(len=in.read(bt))) {
                    out.write(bt, 0, len);
                }
                out.close();
            }
            log.info("文件分片成功，filePath={}",filePath);
        } catch (Exception e) {
            log.error("文件分片失败,error:", e);
        }finally {
            try {
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            } catch (IOException e)