1. 事件
Redis服务器是一个事件驱动程序,服务器处理以下两类事件:
- 文件事件(file event):Redis服务器通过套接字与客户端(或其他Redis服务器)进行连接,而文件事件就是服务器对套接字操作的抽象。服务器与客户端(或其他服务器)的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络通信操作。
- 时间事件(time event):Redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象
1.1 文件事件
Redis基于Reactor模式开发自己的网络事件处理器:即文件事件处理器:
- 文件事件处理器使用I/O多路复用程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器
- 当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时,文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
1.1.1 文件事件处理器的构成
文件事件处理器由四部分组成:
- 套接字
- I/O多路复用程序 监听多个套接字,并向文件事件分派器传送那些产生了事件的套接字。尽管多个文件事件可能会并发地出现,但I/O多路复用程序总会将所有产生事件的套接字都放到一个队列里面,以每次一个套接字的方式向文件事件分派器传送套接字
- 文件事件分派器 接收I/O多路复用程序传来的套接字,并根据套接字产生的事件的类型,调用相应的事件处理器
- 事件处理器 服务器会为执行不同任务的套接字关联不同的事件处理器,这些处理器是一个个函数,定义了某个事件发生时,服务器应该执行的动作
1.1.2 I/O 多路复用程序的实现
Redis在I/O多路复用程序的实现源码中用#include宏定义了相应的规则,程序会在编译时自动选择系统中性能最高的I/O多路复用函数库来作为Redis的I/O多路复用程序的底层实现。
1.1.3 事件的类型
I/O多路复用程序可以监听多个套接字的ae.h/AE_READABLE事件和ae.h/AE_WRITABLE事件
- 当套接字变得可读时(客户端对套接字执行write操作,或者执行close操作),或者有新的可应答(acceptable)套接字出现时(客户端对服务器的监听套接字执行connect操作),套接字产生AE_READABLE事件
- 当套接字变得可写时(客户端对套接字执行read操作),套接字产生AE_WRITABLE事件
1.1.4 API
ae.c/aeCreateFileEvent函数接受一个套接字描述符、一个事件类型,以及一个事件处理器作为参数,将给定套接字的给定事件加入到I/O多路复用程序的监听范围之内,并对事件和事件处理器进行关联
ae.c/aeWait函数接受一个套接字描述符、一个事件类型和一个毫秒为参数,在给定的时间内阻塞并等待套接字的给定类型事件产生,当事件成功产生,或者等待超时之后,函数返回
ae.c/aeApiPoll函数接受一个sys/time.h/struct timeval结构为参数,并在指定时间内,阻塞并等待所有被aeCreateFileEvent函数设置为监听状态的套接字产生文件事件,当至少一个事件产生,或者等待超时后,函数返回
ae.c/aeProcessEvents函数是文件事件分派器,先调用aeApiPoll函数来等待时间产生,然后遍历所有已产生的事件,并调用相应的事件处理器来处理这些事件
ae.c/aeGetApiName函数返回I/O多路复用程序底层所使用的的I/O多路复用函数库的名称:返回“epoll”表示底层为epoll函数库
1.1.5 文件事件处理器
Redis为事件编写了多个处理器,这些事件处理器分别用于实现不同的网络通信需求:
- 为了对连接服务器的各个客户端进行应答,服务器要为监听套接字关联连接应答处理器(networking.c/acceptTcpHandler函数)
- 为了接收客户端传来的命令请求,服务器要为客户端套接字关联命令请求处理器(networking.c/readQueryFromClient函数)
- 为了向客户端返回命令的执行结果,服务器要为客户端套接字关联命令回复处理器(networking.c/sendReplyToClient函数)
- 当主服务器和从服务器进行复制操作时,主从服务器都需要关联特别为复制功能编写的复制处理器
完整的客户端和服务器连接示例:
1.2 时间事件
Redis时间事件分为两类:
- 定时事件:一段程序在指定的时间之后执行一次
- 周期性事件:一段程序每隔指定时间就执行一次
时间事件由三个属性组成:
- id:服务器为时间事件创建的全局唯一ID。ID号沿从小到大依次递增
- when:毫秒精度的UNIX时间戳,记录了时间事件的到达时间
- timeProc:时间事件处理器,当时间到达时,服务器就会调用相应的处理器来处理事件
1.2.1 实现
服务器将所有的时间事件都放在一个无序链表中,每当时间事件执行器运行时,就会遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。
1.2.2 API
ae.c/aeCreateTimeEvent函数接受一个毫秒数milliseconds和一个时间事件处理器proc作为参数,将一个新的时间事件添加到服务器。
ae.c/aeSearchNearesTimer函数返回到达时间距离当前时间最接近的那个时间事件。
ae.c/processTimeEvents函数是时间事件的执行器,这个函数遍历所有时间事件,并调用事件处理器来处理那些已到达的时间事件。
1.2.3 时间事件应用实例:serverCron函数
持续运行的redis服务器需要定期对自身的资源和状态进行检查和调整,这些定期操作由redis.c/serverCron函数负责执行,主要工作包括:
- 更新服务器的各类统计信息,比如时间、内存占用、数据库占用情况等
- 清理数据库中的过期键值对
- 关闭和清理连接失效的客户端
- 尝试进行AOF或RDB持久化操作
- 如果服务器是主服务器,那么对从服务器进行定期同步
- 如果处于集群模式,对集群进行定期同步和连接测试
1.3 事件的调度和执行
2. 事务
Redis通过MULTI、EXEC、WATCH等命令来实现事务功能。
2.1 事务的实现
1) 事务开始 在客户端状态的flags属性中打开REDIS_MULTI标识。
2) 命令入队
3) 执行事务
def EXEC(): # 创建空白的回复队列 reply_queue = [] # 遍历事务队列中的每个项 # 读取命令的参数,参数的个数,以及要执行的命令 for argv, argc, cmd, in client.mstate.commands: # 执行命令,并取得命令返回值 reply = execute_command(cmd, argv, argc) # 将返回值追加到回复队列末尾 reply_queue.append(reply) # 移除REDIS_MULTI 标识,让客户端回到非事务状态 client.flags &= ~REDIS_MULTI # 清空客户端的事务状态,包括: # 1)清零入队命令计数器 # 2)释放事务队列 client.msatate.count = 0 release_transaction_queue(client.mastate.commands) # 将事务的执行结果返回给客户端 send_reply_to_client(client, reply_queue)
2.2 WATCH命令实现
WATCH命令是一个乐观锁(optimistic locking),在EXEC命令执行之前,监视任意数量的数据库键,并在EXEC命令执行时,检查被监视的键是否至少有一个已经被修改过,如果是的话,服务器将拒绝执行事务,并向客户端返回代表事务执行失败的空回复。
假设当前客户端为A,而数据库watched_keys字典的监视了“name”键,那么当客户端A执行SET name命令后,客户端B也向服务器发送了一条SET命令,将“name”的值设为“John”。客户端B的这个SET命令会导致正在监视“name”键的所有客户端的REDIS_DIRTY_CAS标识被打开,其中包括客户端A。之后,当c10086向服务器发送EXEC命令时,因为客户端A的REDIS_DIRTY_CAS标志已经被打开,所以服务器将拒绝执行它提交的事务。