IO 多路复用机制,核心思想是让单个线程去监视多个连接,一旦某个连接就绪,
也就是触发了读/写事件。
就通知应用程序,去获取这个就绪的连接进行读写操作。
也就是在应用程序里面可以使用单个线程同时处理多个客户端连接,在对系统资
源消耗较少的情况下提升服务端的链接处理数量。
在IO 多路复用机制的实现原理中,客户端请求到服务端后,此时客户端在传输
数据过程中,为了避免Server 端在read 客户端数据过程中阻塞,服务端会把该
请求注册到Selector 复路器上,服务端此时不需要等待,只需要启动一个线程,
通过selector.select()阻塞轮询复路器上就绪的channel 即可,也就是说,如果
某个客户端连接数据传输完成,那么select()方法会返回就绪的channel,然后
执行相关的处理就可以了。
常见的IO 多路复用机制的实现方式有: select 、poll、epoll。
这些都是Linux 系统提供的IO 复用机制的实现,其中select 和poll 是基于轮询
的方式去获取就绪连接。
而epoll 是基于事件驱动的方式获取就绪连接。从性能的角度来看,基于事件驱
动的方式要优于轮询的方式。
select的多路复用
从10万次系统调用变成一次系统调用,10万次本地方法遍历(很多数据),能监听端口的数量有限单个进程能打开的最大连接数由FD_SETSIZE
宏定义,其大小是32个整数的大小(在32位的机器上,大小就是32^32(1024),同理64位机器上FD_SETSIZE为32^64(2048))
poll
与select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。
poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,
而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。
epoll redis轮询 Nginx阻塞 因为redis是单线程,除了接受IO,还需要做LRU,LFU淘汰以及RDBAOF等方式的持久化操作,而Nginx是等待客户端来才会有操作,没有客户端来就是闲着,所以采用的是阻塞 epoll的作用是即便有十万个客户端
为什么Redis快?
1、最主要的原因,数据存取发生在内存中,内存IO的速度非常快。
2、Redis数据结构的选取非常合适,采用全局的链式哈希表进行存储每一个key-value,同时,Redis对于哈希扩容的处理也很高效,查询时间非常快,是趋近于O(1)的,并且当哈希桶使用个数比较多时,会进行哈希表的扩容,避免时间复杂度的增高。redis采用渐进式扩容的策略,redis中默认会有两张全局的哈希表,一开始所有的key-value都存储在第一张哈希表中,当第一张哈希表存储的元素过多。会用第二张哈希表进行扩容,然后第一张哈希表的元素重新映射到第二张哈希表中。第一张哈希表留作下一次扩容备用。
但是这样会存在一个问题,数据在迁移的过程中,是非常耗时的操作!很有可能造成业务堵塞。那redis是怎么做的呢?
redis是这么做的,每次处理一个请求,就重新映射一个哈希桶的元素到另一张哈希表中,所以这样一来,就让每个请求分摊了哈希重新映射的时间。而不会造成业务的堵塞,只是让某些用户的请求变慢了一些。同时redis维护了一个定时器,会周期性的进行数据的重新映射。
3、redis采用的网络模型是reactor模型,这种模型几乎是所有开源框架共用的一套模型。他会为每个套接字绑定一组IO处理函数,将套接字的IO处理转变为事件处理,在事件处理函数内执行IO的具体操作。
3、redis的持久化很好的利用了fork子进程读时共享,写时复制的策略。利用这一点进行RDB持久化时,只要数据不进行更改,父子进程都利用的是相同的物理内存。
4、redis是的命令处理所以避免了数据竞争的性能消耗。
5、redis的网络IO是通过IO多路复用epoll来完成的,所以当网络数据到达时,能及时触发网络事件,进行数据的读取。
6、在新版本中,redis引入了网络IO多线程,多个线程同时进行网络IO的处理,将网络IO的解析好的数据传递给主线程,主线程负责命令的执行。
--来自互联网人工智能的版本:
Redis 之所以这么快,有以下几个方面的原因:
- 数据存储在内存中:Redis 的数据存储在内存中,这意味着读写操作都非常快,因为内存的访问速度比磁盘快得多。并且,Redis 可以通过将数据异步地持久化到磁盘上,来保证数据的安全性和持久性。
- 高效的数据结构:Redis 支持多种数据结构,例如字符串、哈希表、列表、集合和有序集合等。这些数据结构都被设计成非常高效,例如,在哈希表中查找一个元素只需要 O(1) 的时间复杂度。
- 单线程模型:Redis 是单线程的,这意味着它不需要进行线程切换和同步,从而减少了开销和延迟。在多核 CPU 上,Redis 可以通过启动多个进程来利用多核,每个进程都有自己的事件循环,这种方式称为多实例。
- 基于事件驱动的异步 I/O:Redis 使用基于事件驱动的异步 I/O 模型来处理网络请求,这意味着它不会在等待 I/O 操作完成时阻塞进程,从而提高了并发性和吞吐量。
- 内部优化:Redis 在内部实现上也做了很多优化,例如使用紧凑的数据结构、位操作和压缩算法等。Redis 还提供了一些高级特性,例如事务、发布订阅、Lua 脚本和管道等,可以帮助开发者更好地利用 Redis 的性能优势。