java 断点续传后端分块上传文件 java ftp 断点续传

转载

mob6454cc6acccd 2023-06-19 15:52:51

文章标签 java 断点续传后端分块上传文件服务器客户端断点续传 文章分类 Java 后端开发

简介：

FTP客户端实现要建立两个通道，一个控制命令通道，让FTP服务器知道客户端要干什么，一个数据传输通道。所谓的两个通道只不过是两个调用了connect函数的连接，只是控制命令通道专门用来传输一些字符串命令信息，而数据通道则是用来传输文件。控制命令通道一定是由客户端向服务器的连接（默认的端口是21，也可以指定端口，这要看服务器的设置）。连接的过程完成了FTP的登录。数据通道则不一定啦，具体哪个连哪个，请看下面对PASV命令的解释。

其实FTP断点续传的原理很简单，可分为断点下载和断点上传。

客户端的实现步骤如下：
一、下载：

1、向服务器发送“REST + 本地文件长度”命令，告诉服务器，客户端要断点下载了。这时服务器还不知道客户端要下载哪个文件；
2、向服务器发送“RETR + 文件名”命令，通知服务器要下载的文件名，这时服务器开始定位文件指针读文件并发送数据。
3、客户端定位本地文件指针（文件末尾）；
4、两端的准备工作都做完了以后，客户端创建socket，以被动或非被动方式建立数据通道，循环调用recv接收数据并追加入本地文件；
二、上传：

1、获取服务器上和本地要上传文件的同名文件大小；
2、向服务器发送“APPE ＋文件名”，通知服务器，接下来从数据通道发送给你的数据要附加到这个文件末尾。
3、定位本地文件指针（和FTP上文件大小相同的位置）
4、从文件指针处读数据并发送。

好了，FTP断点续传的原理就这么简单。代码里将断点上传和断点下载放到同一个函数（MoveFile）里，通过get参数说明是上传还是下载。当然，整个FTP类的实现有800多行，包括登录、退出、获取FTP文件大小、删除FTP服务器上文件、响应服务器，解析响应信息等函数。相应的注释代码里都有，这里就不一一熬述了。

这里重点说说PASV模式，即被动模式，这是FTP命令里比较不容易理解的一个，这条命令请求服务器在某个端口（非FTP默认端口或控制命令端口）创建一个监听socket，服务器创建的端口号会在客户端的控制命令通道上得到响应。得到这个端口号后，客户端就可以创建新的socket（数据通道）connect过去，并进行文件传输等工作。否则，如果为非被动模式，那么监听的socket由客户端创建，服务器connect过来。
对于这条命令的存在我是这么理解的，存在这么一种情况：客户端的IP是个内网的IP，服务器的IP是个外网的，当进行数据传输时内网的IP对于服务器是不可见的，只有由服务器启动监听socket才能建立数据通道，所以必须以被动模式进行。

一：FTP单线程断点续传：
FTP和传统的HTTP协议有所不同，由于FTP没有所谓的头文件，因此我们不能像HTTP那样通过设置header向服务器指定下载区间
但是FTP协议提供了一个更好用的命令REST用于从指定位置恢复任务，同时FTP协议也提供了一个命令SIZE用于获取下载的文件大小，有了这两个命令，FTP断点续传也就没有什么问题。
FTP断点续传的原理和HTTP的断点续传原理差不多，在暂停时记录文件的停止位置，再次下载时，先读取记录的位置，如果位置存在，则通过REST命令告诉服务器从指定区间进行下载。

二：FTP多线程断点续传(本次未实现)
多线程下载的原理和HTTP多线程下载的原理差不多。先获取文件大小，然后根据线程数，对整个文件进行分段下载，在任务停止时，记录每一条线程的暂停位置，重新开始下载，每一条线程读取对应的下载记录，然后每一线程从指定位置开始下载。

和HTTP所不同的是，FTP并没有提供文件区间的API，因此，FTP在分段下载中，只有起始位置而没有结束位置。
因此，你需要在指定位置手动停止线程。

具体实现：

<dependency>
    <groupId>commons-net</groupId>
    <artifactId>commons-net</artifactId>
    <version>3.6</version>
</dependency>

/** 
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 *
 */
package com.example.ftp;

/**
* @desc: demo
* @name: DownloadStatus.java
* @author: tompai
* @email：liinux@qq.com
* @createTime: 2019年12月24日 下午10:50:24
* @history:
* @version: v1.0
*/

public enum DownloadStatus {

	Remote_File_Noexist,
	Local_Bigger_Remote,
	Download_From_Break_Success,
	Download_From_Break_Failed,
	Download_New_Success,
	Download_New_Failed,
	
}

/** 
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 *
 */
package com.example.ftp;

/**
* @desc: demo
* @name: UploadStatus.java
* @author: tompai
* @email：liinux@qq.com
* @createTime: 2019年12月24日 下午10:50:34
* @history:
* @version: v1.0
*/

public enum UploadStatus {

	Create_Directory_Fail,
	File_Exits,
	Remote_Bigger_Local,
	Upload_From_Break_Failed,
	Delete_Remote_Faild,
	Create_Directory_Success,
	Upload_From_Break_Success,
	Upload_New_File_Success,
	Upload_New_File_Failed
}

/** 
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 *
 */
package com.example.ftp;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.io.RandomAccessFile;
import org.apache.commons.net.PrintCommandListener;
import org.apache.commons.net.ftp.FTP;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;
/**
 * @desc: demo
 * @name: FTPUtils.java
 * @author: tompai
 * @email：liinux@qq.com
 * @createTime: 2019年12月24日 下午10:43:27
 * @history:
 * @version: v1.0
 */
public class FTPUtils {
	public FTPClient ftpClient = new FTPClient();
	public FTPUtils() {
		// 设置将过程中使用到的命令输出到控制台
		this.ftpClient.addProtocolCommandListener(new PrintCommandListener(new PrintWriter(System.out)));
	}
	/**
	 * 
	 * @todo连接到FTP服务器
	 * @param hostname 主机名
	 * @param port     端口
	 * @param username 用户名
	 * @param password 密码
	 * @return 是否连接成功
	 * @throws IOException
	 * 
	 */
	public boolean connect(String hostname, int port, String username, String password) throws IOException {
		ftpClient.connect(hostname, port);
		ftpClient.setControlEncoding("GBK");
		if (FTPReply.isPositiveCompletion(ftpClient.getReplyCode())) {
			if (ftpClient.login(username, password)) {
				return true;
			}
		}
		disconnect();
		return false;
	}
	
	
	/**
	 * 
	 * 从FTP服务器上下载文件,支持断点续传，上传百分比汇报
	 * @param remote 远程文件路径
	 * @param local  本地文件路径
	 * @return 上传的状态
	 * @throws IOException
	 * 
	 */
	public DownloadStatus download(String remote, String local) throws IOException {
		// 设置被动模式
		ftpClient.enterLocalPassiveMode();
		// 设置以二进制方式传输
		ftpClient.setFileType(FTP.BINARY_FILE_TYPE);
		DownloadStatus result;
		// 检查远程文件是否存在
		FTPFile[] files = ftpClient.listFiles(new String(remote.getBytes("GBK"), "iso-8859-1"));
		if (files.length != 1) {
			System.out.println("远程文件不存在");
			return DownloadStatus.Remote_File_Noexist;
		}
		long lRemoteSize = files[0].getSize();
		File f = new File(local);
		// 本地存在文件，进行断点下载
		if (f.exists()) {
			long localSize = f.length();
			// 判断本地文件大小是否大于远程文件大小
			if (localSize >= lRemoteSize) {
				System.out.println("本地文件大于远程文件，下载中止");
				return DownloadStatus.Local_Bigger_Remote;
			}
			// 进行断点续传，并记录状态
			FileOutputStream out = new FileOutputStream(f, true);
			ftpClient.setRestartOffset(localSize);
			InputStream in = ftpClient.retrieveFileStream(new String(remote.getBytes("GBK"), "iso-8859-1"));
			byte[] bytes = new byte[1024];
			long step = lRemoteSize / 100;
			long process = localSize / step;
			int c;
			while ((c = in.read(bytes)) != -1) {
				out.write(bytes, 0, c);
				localSize += c;
				long nowProcess = localSize / step;
				if (nowProcess > process) {
					process = nowProcess;
					if (process % 10 == 0)
						System.out.println("下载进度：" + process);
					// TODO 更新文件下载进度,值存放在process变量中
				}
			}
			in.close();
			out.close();
			boolean isDo = ftpClient.completePendingCommand();
			if (isDo) {
				result = DownloadStatus.Download_From_Break_Success;
			} else {
				result = DownloadStatus.Download_From_Break_Failed;
			}
		} else {
			OutputStream out = new FileOutputStream(f);
			InputStream in = ftpClient.retrieveFileStream(new String(remote.getBytes("GBK"), "iso-8859-1"));
			byte[] bytes = new byte[1024];
			long step = lRemoteSize / 100;
			long process = 0;
			long localSize = 0L;
			int c;
			while ((c = in.read(bytes)) != -1) {
				out.write(bytes, 0, c);
				localSize += c;
				long nowProcess = localSize / step;
				if (nowProcess > process) {
					process = nowProcess;
					if (process % 10 == 0)
						System.out.println("下载进度：" + process);
					// TODO 更新文件下载进度,值存放在process变量中
				}
			}
			in.close();
			out.close();
			boolean upNewStatus = ftpClient.completePendingCommand();
			if (upNewStatus) {
				result = DownloadStatus.Download_New_Success;
			} else {
				result = DownloadStatus.Download_New_Failed;
			}
		}
		return result;
	}
	
	/**
	 * 上传文件到FTP服务器，支持断点续传
	 * @param local  本地文件名称，绝对路径
	 * @param remote 远程文件路径，使用/home/directory1/subdirectory/file.ext
	 *               按照Linux上的路径指定方式，支持多级目录嵌套，支持递归创建不存在的目录结构
	 * @return 上传结果
	 * @throws IOException
	 * 
	 */
	public UploadStatus upload(String local, String remote) throws IOException {
		// 设置PassiveMode传输
		ftpClient.enterLocalPassiveMode();
		// 设置以二进制流的方式传输
		ftpClient.setFileType(FTP.BINARY_FILE_TYPE);
		ftpClient.setControlEncoding("GBK");
		UploadStatus result;
		// 对远程目录的处理
		String remoteFileName = remote;
		if (remote.contains("/")) {
			remoteFileName = remote.substring(remote.lastIndexOf("/") + 1);
			// 创建服务器远程目录结构，创建失败直接返回
			if (CreateDirecroty(remote, ftpClient) == UploadStatus.Create_Directory_Fail) {
				return UploadStatus.Create_Directory_Fail;
			}
		}
		// 检查远程是否存在文件
		FTPFile[] files = ftpClient.listFiles(new String(remoteFileName.getBytes("GBK"), "iso-8859-1"));
		if (files.length == 1) {
			long remoteSize = files[0].getSize();
			File f = new File(local);
			long localSize = f.length();
			if (remoteSize == localSize) {
				return UploadStatus.File_Exits;
			} else if (remoteSize > localSize) {
				return UploadStatus.Remote_Bigger_Local;
			}
			// 尝试移动文件内读取指针,实现断点续传
			result = uploadFile(remoteFileName, f, ftpClient, remoteSize);
			// 如果断点续传没有成功，则删除服务器上文件，重新上传
			if (result == UploadStatus.Upload_From_Break_Failed) {
				if (!ftpClient.deleteFile(remoteFileName)) {
					return UploadStatus.Delete_Remote_Faild;
				}
				result = uploadFile(remoteFileName, f, ftpClient, 0);
			}
		} else {
			result = uploadFile(remoteFileName, new File(local), ftpClient, 0);
		}
		return result;
	}
	
	/**
	 * 断开与远程服务器的连接
	 * @throws IOException
	 * 
	 */
	public void disconnect() throws IOException {
		if (ftpClient.isConnected()) {
			ftpClient.disconnect();
		}
	}
	/**
	 * 
	 * 递归创建远程服务器目录
	 * @param remote    远程服务器文件绝对路径
	 * @param ftpClient FTPClient对象
	 * @return 目录创建是否成功
	 * @throws IOException
	 * 
	 */
	public UploadStatus CreateDirecroty(String remote, FTPClient ftpClient) throws IOException {
		UploadStatus status = UploadStatus.Create_Directory_Success;
		String directory = remote.substring(0, remote.lastIndexOf("/") + 1);
		if (!directory.equalsIgnoreCase("/")
				&& !ftpClient.changeWorkingDirectory(new String(directory.getBytes("GBK"), "iso-8859-1"))) {
			// 如果远程目录不存在，则递归创建远程服务器目录
			int start = 0;
			int end = 0;
			if (directory.startsWith("/")) {
				start = 1;
			} else {
				start = 0;
			}
			end = directory.indexOf("/", start);
			while (true) {
				String subDirectory = new String(remote.substring(start, end).getBytes("GBK"), "iso-8859-1");
				if (!ftpClient.changeWorkingDirectory(subDirectory)) {
					if (ftpClient.makeDirectory(subDirectory)) {
						ftpClient.changeWorkingDirectory(subDirectory);
					} else {
						System.out.println("创建目录失败");
						return UploadStatus.Create_Directory_Fail;
					}
				}
				start = end + 1;
				end = directory.indexOf("/", start);
				// 检查所有目录是否创建完毕
				if (end <= start) {
					break;
				}
			}
		}
		return status;
	}
	/**
	 * 
	 * 上传文件到服务器,新上传和断点续传
	 * @param remoteFile  远程文件名，在上传之前已经将服务器工作目录做了改变
	 * @param localFile   本地文件File句柄，绝对路径
	 * @param processStep 需要显示的处理进度步进值
	 * @param ftpClient   FTPClient引用
	 * @return
	 * @throws IOException
	 * 
	 */
	public UploadStatus uploadFile(String remoteFile, File localFile, FTPClient ftpClient, long remoteSize)
			throws IOException {
		UploadStatus status;
		// 显示进度的上传
		long step = localFile.length() / 100;
		long process = 0;
		long localreadbytes = 0L;
		RandomAccessFile raf = new RandomAccessFile(localFile, "r");
		OutputStream out = ftpClient.appendFileStream(new String(remoteFile.getBytes("GBK"), "iso-8859-1"));
		// 断点续传
		if (remoteSize > 0) {
			ftpClient.setRestartOffset(remoteSize);
			process = remoteSize / step;
			raf.seek(remoteSize);
			localreadbytes = remoteSize;
		}
		byte[] bytes = new byte[1024];
		int c;
		while ((c = raf.read(bytes)) != -1) {
			out.write(bytes, 0, c);
			localreadbytes += c;
			if (localreadbytes / step != process) {
				process = localreadbytes / step;
				System.out.println("上传进度:" + process);
				// TODO 汇报上传状态
			}
		}
		out.flush();
		raf.close();
		out.close();
		boolean result = ftpClient.completePendingCommand();
		if (remoteSize > 0) {
			status = result ? UploadStatus.Upload_From_Break_Success : UploadStatus.Upload_From_Break_Failed;
		} else {
			status = result ? UploadStatus.Upload_New_File_Success : UploadStatus.Upload_New_File_Failed;
		}
		return status;
	}
	
	/**
	 * 测试方法
	* @author: tompai
	* @createTime: 2019年12月24日 下午11:08:24
	* @history:
	* @param args void
	 */
	public static void main(String[] args) {
		FTPUtils myFtp = new FTPUtils();
		try {
			System.err.println(myFtp.connect("192.168.199.100", 21, "test", "test"));
			myFtp.ftpClient.makeDirectory(new String("权利的游戏".getBytes("GBK"),"iso-8859-1"));
			myFtp.ftpClient.changeWorkingDirectory(new String("权利的游戏".getBytes("GBK"),"iso-8859-1"));
			System.out.println(myFtp.upload("E:\\test1.docx", "/test1.docx"));
			System.out.println(myFtp.download("/test1.docx", "E:\\/test2.docx"));
			myFtp.disconnect();
		} catch (IOException e) {
			System.out.println("连接FTP出错：" + e.getMessage());
		}
	}
}

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：mysql根据字符截取 mysql根据指定字符截取

下一篇：mysql存储过程先清空表 mysql存储过程删除

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区