什么是 I/O 多路复用

I/O 多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做 I/O 的一路,多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。

select 函数:

使用 select 函数,通知内核挂起进程,当一个或多个 I/O 事件发生后,控制权返还给应用程序,由应用程序进行 I/O 事件的处理。

I/O 事件的类型:

  1. 标准输入文件描述符准备好可以读。
  2. 监听套接字准备好,新的连接已经建立成功。
  3. 已连接套接字准备好可以写。
  4. 如果一个 I/O 事件等待超过了 10 秒,发生了超时事件。

select 函数的使用方法

  1. int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout);
  2. 返回:若有就绪描述符则为其数目,若超时则为0,若出错则为-1
  • maxfd: 待测试的描述符基数,它的值是待测试的最大描述符加 1
  • 描述符集合:
    • 读描述符集合 readset
    • 写描述符集合 writeset
    • 异常描述符集合 exceptset
    • 这三个分别通知内核,在哪些描述符上检测数据可以读,可以写和有异常发生。

设置描述符集合, 使用宏:

  1. void FD_ZERO(fd_set *fdset);      
  2. void FD_SET(int fd, fd_set *fdset);  
  3. void FD_CLR(int fd, fd_set *fdset);   
  4. int FD_ISSET(int fd, fd_set *fdset);

理解宏:

我们可以这样想象,下面一个向量代表了一个描述符集合,其中,这个向量的每个元素都是二进制数中的 0 或者 1。

  • 其中 0 代表不需要处理,1 代表需要处理。
a[maxfd-1], ..., a[1], a[0]
  1. FD_ZERO 用来将这个向量的所有元素都设置成 0;
  2. FD_SET 用来把对应套接字 fd 的元素,a[fd]设置成 1;
  3. FD_CLR 用来把对应套接字 fd 的元素,a[fd]设置成 0;
  4. FD_ISSET 对这个向量进行检测,判断出对应套接字的元素 a[fd]是 0 还是 1。

三个描述符集合中的每一个都可以设置成空,这样就表示不需要内核进行相关的检测。

最后一个参数是 timeval 结构体时间:

struct timeval {
  long   tv_sec; /* seconds */
  long   tv_usec; /* microseconds */
};
  • 设置为 null, 表示如果没有 I/O 事件发生,则 select 一直等待下去
  • 设置为非0值, 表示等待固定的一段时间后从 select 阻塞调用中返回
  • 将 tv_sec 和 tv_usec 都设置成 0, 表示根本不等待,检测完毕立即返回。这种情况使用得比较少。

程序例子

int main(int argc, char **argv) {
    if (argc != 2) {
        error(1, 0, "usage: select01 <IPaddress>");
    }
    int socket_fd = tcp_client(argv[1], SERV_PORT);

    char recv_line[MAXLINE], send_line[MAXLINE];
    int n;

    fd_set readmask;
    fd_set allreads;
    FD_ZERO(&allreads);
    FD_SET(0, &allreads);
    FD_SET(socket_fd, &allreads);

    for (;;) {
        readmask = allreads;
        int rc = select(socket_fd + 1, &readmask, NULL, NULL, NULL);

        if (rc <= 0) {
            error(1, errno, "select failed");
        }

        if (FD_ISSET(socket_fd, &readmask)) {
            n = read(socket_fd, recv_line, MAXLINE);
            if (n < 0) {
                error(1, errno, "read error");
            } else if (n == 0) {
                error(1, 0, "server terminated \n");
            }
            recv_line[n] = 0;
            fputs(recv_line, stdout);
            fputs("\n", stdout);
        }

        if (FD_ISSET(STDIN_FILENO, &readmask)) {
            if (fgets(send_line, MAXLINE, stdin) != NULL) {
                int i = strlen(send_line);
                if (send_line[i - 1] == '\n') {
                    send_line[i - 1] = 0;
                }

                printf("now sending %s\n", send_line);
                size_t rt = write(socket_fd, send_line, strlen(send_line));
                if (rt < 0) {
                    error(1, errno, "write failed ");
                }
                printf("send bytes: %zu \n", rt);
            }
        }
    }

}

程序的 12 行通过 FD_ZERO 初始化了一个描述符集合,这个描述符读集合是空的:

image.png

接下来程序的第 13 和 14 行,分别使用 FD_SET 将描述符 0,即标准输入,以及连接套接字描述符 3 设置为待检测:

image.png

接下来的 16-51 行是循环检测,这里我们没有阻塞在 fgets 或 read 调用,而是通过 select 来检测套接字描述字有数据可读,或者标准输入有数据可读。比如,当用户通过标准输入使得标准输入描述符可读时,返回的 readmask 的值为:

image.png

这个时候 select 调用返回,可以使用 FD_ISSET 来判断哪个描述符准备好可读了。如上图所示,这个时候是标准输入可读,37-51 行程序读入后发送给对端。

我们需要注意的是,这个程序的 17-18 行非常重要,初学者很容易在这里掉坑里去。

  • 第 17 行是每次测试完之后,重新设置待测试的描述符集合 (通知 select 要测试哪些描述符? 尽可能避免全扫描?)。你可以看到上面的例子,在 select 测试之前的数据是{0,3},select 测试之后就变成了{0}。
  • 这是因为 select 调用每次完成测试之后,内核都会修改描述符集合,通过修改完的描述符集合来和应用程序交互,应用程序使用 FD_ISSET 来对每个描述符进行判断,从而知道什么样的事件发生。

套接字描述符就绪条件

当我们说 select 测试返回,某个套接字准备好可读,表示什么样的事件发生呢?

  • 第一种情况是套接字接收缓冲区有数据可以读,如果我们使用 read 函数去执行读操作,肯定不会被阻塞,而是会直接读到这部分数据。
  • 第二种情况是对方发送了 FIN,使用 read 函数执行读操作,不会被阻塞,直接返回 0。
  • 第三种情况是针对一个监听套接字而言的,有已经完成的连接建立,此时使用 accept 函数去执行不会阻塞,直接返回已经完成的连接。
  • 第四种情况是套接字有错误待处理,使用 read 函数去执行读操作,不阻塞,且返回 -1。

总结成一句话就是,内核通知我们套接字有数据可以读了,使用 read 函数不会阻塞。

select 检测套接字可写,完全是基于套接字本身的特性来说的,具体来说有以下几种情况:

  • 第一种是套接字发送缓冲区足够大,如果我们使用套接字进行 write 操作,将不会被阻塞,直接返回。
  • 第二种是连接的写半边已经关闭,如果继续进行写操作将会产生 SIGPIPE 信号。
  • 第三种是套接字上有错误待处理,使用 write 函数去执行写操作,不阻塞,且返回 -1。

总结成一句话就是,内核通知我们套接字可以往里写了,使用 write 函数就不会阻塞。

精选留言

旱烟味

我一直很好奇,为啥说select函数对fd有1024的限制,找了点资料共勉:
首先,man select,搜索FD_SETSIZE会看到如下的内容
An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.
其中最关键的是FD_SETSIZE,是在bitmap位图运算的时候会受到他的影响
其次,sys/select.h头文件有如下定义:
#define FD_SETSIZE FD_SETSIZE
typesizes.h头文件有如下定义:
#define
FD_SETSIZE 1024

由此,终于看到了1024的准确限制。

同时man里也说明了一个限制,不是0-1023的fd会导致未定义的行为。

作者回复: 赞,为大家找到了原始的出处,证明我不是在瞎BB,哈哈。

杨延生

老师,哪种场景下需要多路复用 “写描述符” 呢? 什么时候能写应用程序不知道吗?

作者回复: 写描述符是当发送套接字缓冲区有空间时,要知道,应用程序不是什么时刻都可以不断网发送套接字缓冲区打收据,这样会把缓冲区打爆,所以多路复用写的意思就是告诉应用程序什么时候应该往发送套接字缓冲区打数据。