java的selector
无论在tomcat中的Poller线程,还是在netty的NioEventLoop中都有用到NIO中中重要的组件Selector,为啥需要多路复用。先看下BIO模型
在BIO中,服务端每接收一个客户端的请求就需要创建一个线程,用来处理客户端的请求。如果有大量的客户端请求,那么将会创建大量的线程进行处理,线程的创建销毁导致服务效率极低。这时,NIO的多路复用就出现了,用一个线程处理多个客户端请求。
无论是在TOMCAT中的Poller线程,还是netty中都有用到这个多路复用器
底层原理
在Linux中多路复用器的底层实现是select与epoll,首先来了解一下select这个系统调用
select
select是一个系统调用,它允许程序监视多个文件描述符,直到一个或多个文件描述符为某个I/O“准备好”才返回,或者超时也会返回。该进程传递给内核一组fd,并陷入到R0中,内核去操作这些fd,并监控着,如果一旦这个fd可以使用(可读、可写的事件发生),立马返回,执行用户所注册的回调操作。看下内核的源码。
应用
在redis中,也使用了NIO的多路复用器。在启动redis服务的时候,就是创建多路复用器。
可以看到,多路复用器有多种,在这里,我们关注select跟epoll。这是linux的东西。然后再serverSocket接收到了请求之后,将client的socket对应的fd放入集合中。
然后再aeMain中调用了select系统调用,询问内核是否有请求数据的到来。
如果有数据过来,即retval>0,则把对应的socket fd挂在evetnloop->fired数据中。让redis进行处理。
epoll
epoll对应有三个系统调用epoll_create,epoll_ctl,epoll_wait。epoll不需要每次都向内核传入fdset,epoll会自己在内核维护需要监听的socket fd。当有请求数据到来,内核会将有事件的fd放入rdlist中,其流程如下图所示。
epoll在redis中的应用
首先在服务启动的时候,会调用epoll_create创建ep。
然后将服务端用来监听请求的server socket放入
并确认好回调函数acceptTcpHandler
当有客户端请求过来,调用sys_epoll_ctl将客户端socket的fd放入epoll中,并设置好回调函数readQueryFromClient
当有请求到来,将会回调readQueryFromClient。
内核原理
epoll_wait获取准备好事件fd