IO多路复用

  • IO多路复用是一种高效的IO操作方式,可以实现同时监听多个文件描述符,将阻塞等待IO操作的时间最大化地利用起来,提高系统的性能和响应速度。常见的IO多路复用技术包括select、poll和epoll等,它们都可以实现在一个线程中同时处理多个IO事件,而无需创建多个线程或进程,从而节省了系统资源。在高并发的网络编程中,IO多路复用是一种常见的编程模型,被广泛应用于网络服务器、数据库等系统中。

  • IO多路复用方式:select、poll和epoll

  • select、poll和epoll是常用的IO多路复用技术,它们都可以用于同时监听多个文件描述符,以实现高效的IO操作。

1. select

select是最早出现的IO多路复用技术之一,适用于大多数UNIX系统和Windows系统。它通过select函数来实现,可以同时监听多个文件描述符,包括socket和其他类型的文件描述符。当文件描述符上有IO事件发生时,select函数会返回,并将有IO事件发生的文件描述符集合返回给应用程序。应用程序可以通过遍历这个集合来确定是哪些文件描述符上有IO事件发生。

但是select有一些缺点。首先,它的文件描述符集合是由fd_set结构体表示的,这个结构体的大小是固定的,因此它能够监听的文件描述符数量是有限制的。其次,每次调用select函数时,应用程序都需要将文件描述符集合从用户空间拷贝到内核空间,这个过程比较耗时。最后,当有大量的文件描述符时,每次调用select函数都需要遍历所有的文件描述符,即使只有其中的一小部分文件描述符上有IO事件发生,这也会浪费系统资源。

2. poll

poll也是一种IO多路复用技术,与select类似,它也可以同时监听多个文件描述符,包括socket和其他类型的文件描述符。不同的是,poll的文件描述符集合是由pollfd结构体数组表示的,这个结构体数组的大小是可变的,因此它能够监听的文件描述符数量没有上限。此外,每次调用poll函数时,应用程序不需要将文件描述符集合从用户空间拷贝到内核空间,这个过程比较快。

但是poll也有一些缺点。首先,当有大量的文件描述符时,每次调用poll函数仍需要遍历所有的文件描述符,即使只有其中的一小部分文件描述符上有IO事件发生,这也会浪费系统资源。其次,当有大量的文件描述符时,pollfd结构体数组会变得非常大,这会占用大量的内存空间。

3. epoll

epoll是一种Linux操作系统提供的IO多路复用机制,相对于传统的select和poll,它具有更高的性能和更强的扩展性。

epoll的核心概念是"事件",即文件描述符的IO事件,它支持三种类型的事件:读事件、写事件和错误事件。当某个文件描述符上的IO事件发生时,操作系统会通知应用程序,应用程序通过epoll API获取该事件并进行处理。

epoll的主要优点有:

高性能:在高并发情况下,epoll的性能更高,因为它使用了事件通知机制,只处理需要处理的事件,而不是遍历所有文件描述符。 扩展性强:epoll支持的文件描述符数量比select和poll更大,可以处理数十万甚至上百万的文件描述符。 内核空间和用户空间的数据拷贝次数更少。

代码说明

1. select


#include <sys/select.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main()
{
    int fd1, fd2;
    fd_set read_fds;
    int max_fd;
    int ret;

    fd1 = STDIN_FILENO;
    fd2 = STDOUT_FILENO;

    FD_ZERO(&read_fds);
    FD_SET(fd1, &read_fds);
    FD_SET(fd2, &read_fds);
    max_fd = (fd1 > fd2) ? fd1 : fd2;

    while (1) {
        ret = select(max_fd + 1, &read_fds, NULL, NULL, NULL);
        if (ret < 0) {
            perror("select error");
            exit(EXIT_FAILURE);
        }

        if (FD_ISSET(fd1, &read_fds)) {
            // fd1有数据可读
            // ...
        }

        if (FD_ISSET(fd2, &read_fds)) {
            // fd2有数据可读
            // ...
        }
    }

    return 0;
}

2. poll


#include <poll.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main()
{
    int fd1, fd2;
    struct pollfd fds[2];
    int timeout;
    int ret;

    fd1 = STDIN_FILENO;
    fd2 = STDOUT_FILENO;

    fds[0].fd = fd1;
    fds[0].events = POLLIN;
    fds[1].fd = fd2;
    fds[1].events = POLLIN;

    timeout = -1; // 永久等待

    while (1) {
        ret = poll(fds, 2, timeout);
        if (ret < 0) {
            perror("poll error");
            exit(EXIT_FAILURE);
        }

        if (fds[0].revents & POLLIN) {
            // fd1有数据可读
            // ...
        }

        if (fds[1].revents & POLLIN) {
            // fd2有数据可读
            // ...
        }
    }

    return 0;
}

3. epoll


#include <sys/epoll.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main()
{
    int fd1, fd2;
    int epoll_fd;
    struct epoll_event event, events[2];
    int timeout;
    int ret;
    int i;

    fd1 = STDIN_FILENO;
    fd2 = STDOUT_FILENO;

    epoll_fd = epoll_create1(0);
    if (epoll_fd < 0) {
        perror("epoll_create1 error");
        exit(EXIT_FAILURE);
    }

    event.data.fd = fd1;
    event.events = EPOLLIN;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, fd1, &event) < 0) {
        perror("epoll_ctl error");
        exit(EXIT_FAILURE);
    }

    event.data.fd = fd2;
    event.events = EPOLLIN;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, fd2, &event) < 0) {
        perror("epoll_ctl error");
        exit(EXIT_FAILURE);
    }

    timeout = -1; // 永久等待

    while (1) {
        ret = epoll_wait(epoll_fd, events, 2, timeout);
        if (ret < 0) {
            perror("epoll_wait error");
	        exit(EXIT_FAILURE);
        }
        for (i = 0; i < ret; i++) {
        if (events[i].data.fd == fd1) {
            // fd1有数据可读
            // ...
        }

        if (events[i].data.fd == fd2) {
            // fd2有数据可读
            // ...
        }
    }
}

return 0;
}

结论

IO多路复用是一种高效、灵活和易于维护的I/O编程方式,可以有效地提高系统的性能和响应速度,避免因为线程或进程切换带来的开销和资源浪费。在实际应用中,可以根据应用场景选择不同的IO多路复用方法,并注意处理好各种异常情况和I/O事件类型。使用IO多路复用可以使系统更加高效、灵活和易于维护,是网络编程和操作系统设计中不可或缺的重要技术。

写在最后

感谢大家的阅读,晴天将继续努力,分享更多有趣且实用的主题,如有错误和纰漏,欢迎给予指正。 更多文章敬请关注作者个人公众号 晴天码字