一、基本介绍

零拷贝是Java网络编程的关键,很多性能优化都离不开;Java 中常用的零拷贝有 mmap(内存映射) 和sendFile

1、传统IO

使用传统IO方式进行一次文件读写,会发生几次文件拷贝?

  • 1)从磁盘到内核内存区,使用了一次DMA拷贝
  • 2)从内核到用户态缓存用了一次CPU拷贝
  • 3)用户态到套接字缓存也进行了一次CPU拷贝
  • 4)从套接字缓存到协议栈又用了一次DMA拷贝
    共发生了四次文件拷贝和三次CPU状态(内核态和用户态)切换

2、mmap

mmap 通过内存映射,将文件映射到内存缓冲区,同时,用户空间可以共享内核空间的数据,从而在进行网络传输时,就可以减少从内核空间到用户空间的拷贝次数,提稿传输效率。使用mmap 会发生三次拷贝:磁盘到内存、内存到套接字缓存、套接字缓存到协议栈,CPU状态任然会发生三次切换

3、sendFile

Linux2.1版本时,数据根本不经过用户态,直接从内核缓冲区进入socket buffer,还是三次文件拷贝:磁盘到内核缓冲区,和socket buffer到协议栈都发生了一次DMA拷贝,内核缓冲区到socket buffer进行一次CPU拷贝,两次CPU状态切换。到了 Linux 2.4版本后,直接优化成允许直接从内核缓冲区到协议栈直接进行DMA拷贝,从而整个文件传输过程,除了必要的数据必须从内核缓存区传输到socket buffer,其数据量非常小,可以忽略不记,可以视为只发生两次DMA拷贝,实现零拷贝。

4、零拷贝

由于硬件到内存之间的DMA拷贝,是无法避免的,因此,所谓零拷贝是指文件传输时,不发生CPU拷贝;也即是说,内核缓冲区和socket buffer 之间没有重复的数据
零拷贝,不仅带来了更少的数据复制,还能带来其他性能优势,如更少的CPU上下文切换,更少的CPU缓存伪共享以及无CPU校验和计算

5 总结

mmap 适合小数据量传输,sendFile适合大文件传输;MMAP 需要发生4次上下文切换和三次数据拷贝,sendFile 需要三次上下文切换和两次数据拷贝;sendFile 可以充分利用DMA 方式,mmap 则不能。

二、代码案例

NIO 提供了transferTo 方法进行零拷贝。首先是传统IO方式:

public class OldIOServer {
    public static void main(String[] args) throws Exception{
        ServerSocket serverSocket = new ServerSocket(8001);
        while(true){
            Socket socket = serverSocket.accept();
            DataInputStream dataInputStream = new DataInputStream(socket.getInputStream());
            try{
                byte[] byteArray = new byte[4096];
                while(true){
                    int readCount = dataInputStream.read(byteArray, 0, byteArray.length);
                    if(readCount == -1){
                        break;
                    }
                }
            }catch (Exception e){
                System.out.println(e.getMessage());
            }
        }
    }
}
public class OldIoClient {
    public static void main(String[] args) throws Exception{
        Socket socket = new Socket("localhost", 8001);
        String fileName = "D:\\图片\\Saved Pictures\\206.jpg";
        FileInputStream inputStream = new FileInputStream(fileName);
        DataOutputStream dataOutputStream = new DataOutputStream(socket.getOutputStream());
        byte[] buffer = new byte[4096];
        long readCount;
        long total = 0;
        long startTime = System.currentTimeMillis();
        while((readCount = inputStream.read(buffer)) >= 0){
            total += readCount;
            dataOutputStream.write(buffer);
        }
        System.out.println("发送总字节数:" + total + ",耗时:" + 
                           (System.currentTimeMillis()-startTime));
        dataOutputStream.close();
        socket.close();
        inputStream.close();
    }
}

然后是 NIO 方式:

public class NewIoServer {
    public static void main(String[] args) throws Exception{
        InetSocketAddress inetSocketAddress = new InetSocketAddress(8001);
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        ServerSocket serverSocket = serverSocketChannel.socket();
        serverSocket.bind(inetSocketAddress);
        ByteBuffer byteBuffer = ByteBuffer.allocate(4096);
        while (true){
            SocketChannel socketChannel = serverSocketChannel.accept();
            int readCount = 0;
            while( readCount != -1){
                try{
                    readCount = socketChannel.read(byteBuffer);
                }catch (Exception e){
                    System.out.println(e.getMessage());
                }
                byteBuffer.rewind();
            }
        }
    }
}
public class NewIoClient {
    public static void main(String[] args) throws Exception {
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress("localhost",8001));
        String fileName = "D:\\图片\\Saved Pictures\\206.jpg";
        FileChannel fileChannel = new FileInputStream(fileName).getChannel();
        long startTime = System.currentTimeMillis();
        /*在 Linux 下一个 transferTo 方法就可以完成传输*/
        /*在 Windows 下, 一次 TransferTo 最多只能传输8M,对于大于8M的文件,就要进行分段传输*/
        /*分段传输时,需要主要传输时的位置*/
        long transferCount = fileChannel.transferTo(0, fileChannel.size(), socketChannel);
        System.out.println("发送的总字节数:" + transferCount +",耗时:" + (System.currentTimeMillis()-startTime));
        fileChannel.close();
        socketChannel.close();
    }
}