redis 动态新增数据类型 redis增量更新

简介：

• 全量同步：

• 主从第一次同步是全量同步
• 全量同步是master节点将自身RDB数据发送给slave

• 增量同步：

• slave重启后同步，执行增量同步
• 根据repl_baklog日志文件的命令，来同步更新slave上的数据

同步判定的重要条件

主从同步数据时，若第一次连接则是全量同步(因为从没有主的数据)，若是续上之前的连接则是增量同步（从已经有部分主的数据）。那么master如何判断slave是第一次连接呢？需要用到replid和offset这两个概念

• Replication Id：简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid，slave则会继承master节点的replid
• offset：偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset，说明slave数据落后于master，需要更新。（就像一个进度条，通过对比主从机的offset，就知道从机是否需要更新数据）。不过offset也可能是之前其他主机上的同步进度，所以不能用来判断从机是否是第一次连接。通过id判断，第一次连接会拷贝主机的id和offset。

因此slave做数据同步，必须向master声明自己的replication id 和offset，master才可以判断到底需要同步哪些数据。

全量同步的步骤

1.第一阶段

slave连接请求master并发送自己的replid和offset，master收到请求后会先判断replid是否一致

•         若slave与master的replid一致，则说明从机不是第一次连接，则判断offset是否进行增量同步
•         若replid不一致，则说明是第一次同步，则master发送自己的id和offset给slave修改

2.第二阶段

maset主机会fork进行bgsave生成RDB，并发送RDB文件。

在bgsave执行过程中，对数据进行更新的操作都会记录到repl_baklog日志文档中。

• slave清空本地数据并加载RDB文件，实现数据基本一致

3.第三阶段

master发送repl_baklog日志文档，slave执行命令，实现数据全量同步完成

增量同步步骤

1.（第一阶段）当发现主从ID一致时，说明不是第一次连接，主机回复continue，进行增量同步

2.这里注意的是，repl_baklog是环形的结构，若master的offter一直追加，直到超过了绿色slave末尾，将未备份的master部分也给覆盖掉时，则就只能进行全量同步

3.一般没有覆盖的情况，master就根据slave的offter，发送后面的数据进行增量同步

总结

全量同步的触发

• slave节点第一次连接master节点时
• slave节点断开时间太久，repl_baklog中的offset已经被覆盖时

增量同步的触发

• slave节点断开又恢复，并且在repl_baklog中能找到offset时

区别

• 全量同步：master将完整内存数据生成RDB，发送RDB到slave。后续命令则记录在repl_baklog，逐个发送给slave。
• 增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave

优化主从集群

可以从以下几个方面来优化Redis主从就集群：

• 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO。
• Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
• 适当提高repl_baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
• 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力