一、基本介绍
零拷贝是Java网络编程的关键,很多性能优化都离不开;Java 中常用的零拷贝有 mmap(内存映射) 和sendFile
。
1、传统IO
使用传统IO方式进行一次文件读写,会发生几次文件拷贝?
- 1)从磁盘到内核内存区,使用了一次DMA拷贝
- 2)从内核到用户态缓存用了一次CPU拷贝
- 3)用户态到套接字缓存也进行了一次CPU拷贝
- 4)从套接字缓存到协议栈又用了一次DMA拷贝
共发生了四次文件拷贝和三次CPU状态(内核态和用户态)切换
2、mmap
mmap 通过内存映射,将文件映射到内存缓冲区,同时,用户空间可以共享内核空间的数据,从而在进行网络传输时,就可以减少从内核空间到用户空间的拷贝次数,提稿传输效率
。使用mmap 会发生三次拷贝:磁盘到内存、内存到套接字缓存、套接字缓存到协议栈,CPU状态任然会发生三次切换
。
3、sendFile
Linux2.1版本时,数据根本不经过用户态,直接从内核缓冲区进入socket buffer,还是三次文件拷贝:磁盘到内核缓冲区,和socket buffer到协议栈都发生了一次DMA拷贝,内核缓冲区到socket buffer进行一次CPU拷贝,两次CPU状态切换。到了 Linux 2.4版本后,直接优化成允许直接从内核缓冲区到协议栈直接进行DMA拷贝,从而整个文件传输过程,除了必要的数据必须从内核缓存区传输到socket buffer,其数据量非常小,可以忽略不记,可以视为只发生两次DMA拷贝,实现零拷贝。
4、零拷贝
由于硬件到内存之间的DMA拷贝,是无法避免的,因此,所谓零拷贝是指文件传输时,不发生CPU拷贝
;也即是说,内核缓冲区和socket buffer 之间没有重复的数据
。
零拷贝,不仅带来了更少的数据复制,还能带来其他性能优势,如更少的CPU上下文切换,更少的CPU缓存伪共享以及无CPU校验和计算
5 总结
mmap 适合小数据量传输,sendFile适合大文件传输;MMAP 需要发生4次上下文切换和三次数据拷贝,sendFile 需要三次上下文切换和两次数据拷贝;sendFile 可以充分利用DMA 方式,mmap 则不能。
二、代码案例
NIO 提供了transferTo 方法进行零拷贝。首先是传统IO方式:
public class OldIOServer {
public static void main(String[] args) throws Exception{
ServerSocket serverSocket = new ServerSocket(8001);
while(true){
Socket socket = serverSocket.accept();
DataInputStream dataInputStream = new DataInputStream(socket.getInputStream());
try{
byte[] byteArray = new byte[4096];
while(true){
int readCount = dataInputStream.read(byteArray, 0, byteArray.length);
if(readCount == -1){
break;
}
}
}catch (Exception e){
System.out.println(e.getMessage());
}
}
}
}
public class OldIoClient {
public static void main(String[] args) throws Exception{
Socket socket = new Socket("localhost", 8001);
String fileName = "D:\\图片\\Saved Pictures\\206.jpg";
FileInputStream inputStream = new FileInputStream(fileName);
DataOutputStream dataOutputStream = new DataOutputStream(socket.getOutputStream());
byte[] buffer = new byte[4096];
long readCount;
long total = 0;
long startTime = System.currentTimeMillis();
while((readCount = inputStream.read(buffer)) >= 0){
total += readCount;
dataOutputStream.write(buffer);
}
System.out.println("发送总字节数:" + total + ",耗时:" +
(System.currentTimeMillis()-startTime));
dataOutputStream.close();
socket.close();
inputStream.close();
}
}
然后是 NIO 方式:
public class NewIoServer {
public static void main(String[] args) throws Exception{
InetSocketAddress inetSocketAddress = new InetSocketAddress(8001);
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
ServerSocket serverSocket = serverSocketChannel.socket();
serverSocket.bind(inetSocketAddress);
ByteBuffer byteBuffer = ByteBuffer.allocate(4096);
while (true){
SocketChannel socketChannel = serverSocketChannel.accept();
int readCount = 0;
while( readCount != -1){
try{
readCount = socketChannel.read(byteBuffer);
}catch (Exception e){
System.out.println(e.getMessage());
}
byteBuffer.rewind();
}
}
}
}
public class NewIoClient {
public static void main(String[] args) throws Exception {
SocketChannel socketChannel = SocketChannel.open();
socketChannel.connect(new InetSocketAddress("localhost",8001));
String fileName = "D:\\图片\\Saved Pictures\\206.jpg";
FileChannel fileChannel = new FileInputStream(fileName).getChannel();
long startTime = System.currentTimeMillis();
/*在 Linux 下一个 transferTo 方法就可以完成传输*/
/*在 Windows 下, 一次 TransferTo 最多只能传输8M,对于大于8M的文件,就要进行分段传输*/
/*分段传输时,需要主要传输时的位置*/
long transferCount = fileChannel.transferTo(0, fileChannel.size(), socketChannel);
System.out.println("发送的总字节数:" + transferCount +",耗时:" + (System.currentTimeMillis()-startTime));
fileChannel.close();
socketChannel.close();
}
}