Redis集群重新分片(新增/移除节点)【理论】

发布时间:2020-06-25 10:16:16

来源:51CTO

阅读:6915

作者:张德帅ya

栏目:数据库

redis集群重新分片原理:(增加或移除节点)

以增加节点为例:

我们只需要将已经分配给节点的哈希槽(hash slot),重新分配即可。

注:hash slot重新分配时,如果槽中存在key-value,那么key-value也将一起被分配出去。

例如:

node1的哈希槽:0-5000

node2的哈希槽:5001-10000

node3的哈希槽:10001-16383

现在新增node4:

我们可以将node3的哈希槽调整为:10001-15000、node4的哈希槽:15001-16383

也可以在三个现有节点中,各自分出一部分哈希槽,给新的节点。

redis集群的重新分片操作是由redis的集群管理软件redis-trib负责执行的,

但它不支持自动分片,需要自己计算从哪些节点上分配slot。

redis集群在重新分片时,客户端获取数据原理:

重新分片时,集群不需要下线,并且源节点和目标节点都可以继续处理命令请求。

在hash slot迁移过程中(一部分key-value在node3中,另一部分key-value在node4中)

如果客户端向node3发送一个与数据库key有关的命令:

1)node3会先在自己的数据库里面查找请求的key,

如果找到,直接执行客户端发送的命令。

2)如果没找到,node3给客户端返回一个ASK错误,指引客户端转向node4,

并且客户端需要再次发送想要执行的key相关的命令。

3)客户端转向node4,首先发送ASKING命令,然后再次发送想要执行的key相关的命令。

如果直接发送想要执行的key相关的命令,node4此时并不处理,

因为key所在的槽还未迁移完,槽还属于node3,会返回错误给客户端。

但如果先发送ASKING命令,node4在执行key相关的命令时,

不仅会检查key所属槽是否属于自己,

还会检查migration_slots_to数组(正在迁往自己的槽)

判断key相关的槽是否正在迁往自己,如果是的话,则执行key相关的命令。