复制集工作原理
1)数据复制原理
开启复制集后,主节点会在 local 库下生成一个集合叫 oplog.rs,这是一个有限集合,也就是大小是固定的。其中记录的是整个mongod实例一段时间内数据库的所有变更(插入/更新/删除)操作,当空间用完时新记录自动覆盖最老的记录。
复制集中的从节点就是通过读取主节点上面的 oplog 来实现数据同步的,MongoDB的oplog(操作日志)是一种特殊的封顶集合,滚动覆盖写入,固定大小。另外oplog的滚动覆盖写入方式有两种:一种是达到设定大小就开始覆盖写入;二是设定文档数,达到文档数就开始覆盖写入(不推荐使用)。
复制集工作方式如下图:
主节点跟应用程序之间的交互是通过Mongodb驱动进行的,Mongodb复制集有自动故障转移功能,那么应用程序是如何找到主节点呢?Mongodb提供了一个rs.isMaster()函数,这个函数可以识别主节点。默认应用程序读写都是在主节点上,默认情况下,读和写都只能在主节点上进行。但是主压力过大时就可以把读操作分离到从节点上从而提高读性能。下面是MongoDB的驱动支持5种复制集读选项:
primary:默认模式,所有的读操作都在复制集的主节点进行的。
primaryPreferred:在大多数情况时,读操作在主节点上进行,但是如果主节点不可用了,读操作就会转移到从节点上执行。
secondary:所有的读操作都在复制集的从节点上执行。
secondaryPreferred:在大多数情况下,读操作都是在从节点上进行的,但是当从节点不可用了,读操作会转移到主节点上进行。
nearest:读操作会在复制集中网络延时最小的节点上进行,与节点类型无关。
但是除了primary 模式以外的复制集读选项都有可能返回非最新的数据,因为复制过程是异步的,从节点上应用操作可能会比主节点有所延后。如果我们不使用primary模式,请确保业务允许数据存在可能的不一致。
举个例子:
用客户端向主节点添加了 100 条记录,那么 oplog 中也会有这 100 条的 insert 记录。从节点通过获取主节点的 oplog,也执行这 100 条 oplog 记录。这样,从节点也就复制了主节点的数据,实现了同步。
需要说明的是:并不是从节点只能获取主节点的 oplog。为了提高复制的效率,复制集中所有节点之间会互相进行心跳检测(通过ping)。每个节点都可以从任何其他节点上获取oplog。还有,用一条语句批量删除 50 条记录,并不是在 oplog 中只记录一条数据,而是记录 50 条单条删除的记录。oplog中的每一条操作,无论是执行一次还是多次执行,对数据集的影响结果是一样的,i.e 每条oplog中的操作都是幂等的。
- 初始化同步
- 回滚后的数据追赶
- 分片的chunk迁移
2)复制集写操作
如果启用复制集的话,在内存中会多一个OPLOG区域,是在节点之间进行同步的一个手段,它会把操作日志放到OPLOG中来,然后OPLOG会复制到从节点上。从节点接收并执行OPLOG中的操作日志来达到数据的同步操作。
1) 客户端的数据进来;
2) 数据操作写入到日志缓冲;
3) 数据写入到数据缓冲;
4) 把日志缓冲中的操作日志放到OPLOG中来;
5) 返回操作结果到客户端(异步);
6) 后台线程进行OPLOG复制到从节点,这个频率是非常高的,比日志刷盘频率还要高,从节点会一直监听主节点,OPLOG一有变化就会进行复制操作;
7) 后台线程进行日志缓冲中的数据刷盘,非常频繁(默认100)毫秒,也可自行设置(30-60);
后台线程进行数据缓冲中的数据刷盘,默认是60秒;
3)Oplog的数据结构
1 2 3 4 5 6 7 8 9 10 11 | ywnds:PRIMARY> db.oplog.rs.findOne() { "ts" : Timestamp(1453059127, 1), "h" : NumberLong("-6090285017139205124"), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "initiating set" } } |
ts:操作发生时的时间戳,这个时间戳包含两部分内容t和i,t是标准的时间戳(自1970年1月1日 00:00:00 GMT 以来的毫秒数)。而i是一个序号,目的是为了保证t与i组合出的Mongo时间戳ts可以唯一的确定一条操作记录。
h:此操作的独一无二的ID。
v:oplog的版本。
op:操作类型(insert、update、delete、db cmd、null),紧紧代表一个消息信息。
ns:操作所处的命名空间(db_name.coll_name)。
o:操作对应的文档,文档在更新前的状态(“msg” 表示信息)。
o2:仅update操作时有,更新操作的变更条件(只记录更改数据)。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | { "ts" : Timestamp(1481094522, 1), "t" : NumberLong(1), "h" : NumberLong("-7286476219427328778"), "v" : 2, "op" : "u", "ns" : "test.foo", "o2" : { "_id" : ObjectId("58466e872780d8f6f65951ad") }, "o" : { "_id" : ObjectId("58466e872780d8f6f65951ad"), "a" : 1000 } } |
PS:当你想查询最后一次数据库操作的oplog记录时,可以使用此语句db.oplog.rs.find().sort({$natural:-1}).limit(1).pretty()。
需要重点强调的是oplog只记录改变数据库状态的操作。比如,查询就不存储在oplog中。这是因为oplog只是作为从节点与主节点保持数据同步的机制。存储在oplog中的操作也不是完全和主节点的操作一模一样的,这些操作在存储之前先要做等幂变换,也就是说,这些操作可以在从服务器端多次执行,只要顺序是对的,就不会有问题。例如,使用“$inc”执行的增加更新操作,会被转换为“$set”操作。
4)Oplog大小及意义
当你第一次启动复制集中的节点时,MongoDB会用默认大小建立Oplog。这个默认大小取决于你的机器的操作系统。大多数情况下,默认的oplog大小是足够的。在 mongod 建立oplog之前,我们可以通过设置 oplogSizeMB 选项来设定其大小。但是,如果已经初始化过复制集,已经建立了Oplog了,我们需要通过修改Oplog大小中的方式来修改其大小。
OpLog的默认大小:
- 在64位Linux、Windows操作系统上为当前分区可用空间的5%,但最大不会超过50G。
- 在64位的OS X系统中,MongoDB默认分片183M大小给Oplog。
- 在32位的系统中,MongoDB分片48MB的空间给Oplog。
4.1 复制时间窗口
既然Oplog是一个封顶集合,那么Oplog的大小就会有一个复制时间窗口的问题。举个例子,如果Oplog是大小是可用空间的5%,且可以存储24小时内的操作,那么从节点就可以在停止复制24小时后仍能追赶上主节点,而不需要重新获取全部数据。如果说从节点在24小时后开始追赶数据,那么不好意思主节点的oplog已经滚动覆盖了,把从节点没有执行的那条语句给覆盖了。这个时候为了保证数据一致性就会终止复制。然而,大多数复制集中的操作没有那么频繁,oplog可以存放远不止上述的时间的操作记录。但是,再生产环境中尽可能把oplog设置大一些也不碍事。使用rs.printReplicationInfo()可以查看oplog大小以及预计窗口覆盖时间。
1 2 3 4 5 6 | test:PRIMARY> rs.printReplicationInfo() configured oplog size: 1024MB <--集合大小 log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间 oplog first event time: Wed Sep 09 2015 17:39:50 GMT+0800 (CST) oplog last event time: Mon Sep 14 2015 15:23:59 GMT+0800 (CST) now: Mon Sep 14 2015 16:37:30 GMT+0800 (CST) |
4.2 Oplog大小应随着实际使用压力而增加
如果我能够对我复制集的工作情况有一个很好地预估,如果可能会出现以下的情况,那么我们就可能需要创建一个比默认大小更大的oplog。相反的,如果我们的应用主要是读,而写操作很少,那么一个小一点的oplog就足够了。
下列情况我们可能需要更大的oplog。
4.2.1 同时更新大量的文档。
Oplog为了保证 幂等性 会将多项更新(multi-updates)转换为一条条单条的操作记录。这就会在数据没有那么多变动的情况下大量的占用oplog空间。
4.2.2 删除了与插入时相同大小的数据
如果我们删除了与我们插入时同样多的数据,数据库将不会在硬盘使用情况上有显著提升,但是oplog的增长情况会显著提升。
4.2.3 大量In-Place更新
如果我们会有大量的in-place更新,数据库会记录下大量的操作记录,但此时硬盘中数据量不会有所变化。
4.3 Oplog幂等性
Oplog有一个非常重要的特性——幂等性(idempotent)。即对一个数据集合,使用oplog中记录的操作重放时,无论被重放多少次,其结果会是一样的。举例来说,如果oplog中记录的是一个插入操作,并不会因为你重放了两次,数据库中就得到两条相同的记录。
5)Oplog的状态信息
我们可以通过 rs.printReplicationInfo() 来查看oplog的状态,包括大小、存储的操作的时间范围。关于oplog的更多信息可以参考Check the Size of the Oplog。
1 2 3 4 5 6 | test:PRIMARY> rs.printReplicationInfo() configured oplog size: 1024MB <--集合大小 log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间 oplog first event time: Wed Sep 09 2015 17:39:50 GMT+0800 (CST) oplog last event time: Mon Sep 14 2015 15:23:59 GMT+0800 (CST) now: Mon Sep 14 2015 16:37:30 GMT+0800 (CST) |
在各类异常情况下,从节点oplog的更新可能落后于主节点一些时间。在从节点上通过 db.getReplicationInfo() 和 db.getReplicationInfo可以获得现在复制集的状态与,也可以知道是否有意外的复制延时。
1 2 3 4 5 6 7 8 9 10 | test:SECONDARY> db.getReplicationInfo() { "logSizeMB" : 1024, "usedMB" : 168.06, "timeDiff" : 7623151, "timeDiffHours" : 2117.54, "tFirst" : "Fri Aug 19 2016 12:27:04 GMT+0800 (CST)", "tLast" : "Tue Nov 15 2016 17:59:35 GMT+0800 (CST)", "now" : "Tue Dec 06 2016 11:27:36 GMT+0800 (CST)" } |
6)复制集数据同步过程
Mongodb复制集里的Secondary会从Primary上同步数据,以保持副本集所有节点的数据保持一致,数据同步主要包含2个过程
6.1 initial sync
6.2 replication(oplog sync)
先通过initial sync同步全量数据,再通过replication不断重放Primary上的oplog同步增量数据。
initial sync
初始同步会将完整的数据集复制到各个节点上,Secondary启动后,如果满足以下条件之一,会先进行initial sync。
1. Secondary上oplog为空,比如新加入的空节点。
2. local.replset.minvalid集合里_initialSyncFlag标记被设置。当initial sync开始时,同步线程会设置该标记,当initial sync结束时清除该标记,故如果initial sync过程中途失败,节点重启后发现该标记被设置,就知道应该重新进行initial sync。
3. BackgroundSync::_initialSyncRequestedFlag被设置。当向节点发送resync命令时,该标记会被设置,此时会强制重新initial sync。
initial sync同步流程
1. minValid集合设置_initialSyncFlag(db.replset.minvalid.find())。
2. 获取同步源当前最新的oplog时间戳t0。
3. 从同步源克隆所有的集合数据。
4. 获取同步源最新的oplog时间戳t1。
5. 同步t0~t1所有的oplog。
6. 获取同步源最新的oplog时间戳t2。
7. 同步t1~t2所有的oplog。
8. 从同步源读取index信息,并建立索引(除了_id ,这个之前已经建立完成)。
9. 获取同步源最新的oplog时间戳t3。
10. 同步t2~t3所有的oplog。
11. minValid集合清除_initialSyncFlag,initial sync结束。
当完成了所有操作后,该节点将会变为正常的状态secondary。
replication (sync oplog)
initial sync结束后,Secondary会建立到Primary上local.oplog.rs的tailable cursor,不断从Primary上获取新写入的oplog,并应用到自身。Tailable cursor每次会获取到一批oplog,Secondary采用多线程重放oplog以提高效率,通过将oplog按照所属的namespace进行分组,划分到多个线程里,保证同一个namespace的所有操作都由一个线程来replay,以保证统一namespace的操作时序跟primary上保持一致(如果引擎支持文档锁,只需保证同一个文档的操作时序与primary一致即可)。
同步场景分析
1. 副本集初始化
初始化选出Primary后,此时Secondary上无有效数据,oplog是空的,会先进行initial sync,然后不断的应用新的oplog。
2. 新成员加入
因新成员上无有效数据,oplog是空的,会先进行initial sync,然后不断的应用新的oplog。
3. 有数据的节点加入
有数据的节点加入有如下情况:
A.该节点与副本集其他节点断开连接,一段时间后恢复
B.该节点从副本集移除(处于REMOVED)状态,通过replSetReconfig命令将其重新加入
C.其他? 因同一个副本集的成员replSetName配置必须相同,除非有误配置,应该不会有其他场景
此时,如果该节点最新的oplog时间戳,比所有节点最旧的oplog时间戳还要小,该节点将找不到同步源,会一直处于RECOVERING而不能服务;反之,如果能找到同步源,则直接进入replication阶段,不断的应用新的oplog。
因oplog太旧而处于RECOVERING的节点目前无法自动恢复,需人工介入处理(故设置合理的oplog大小非常重要),最简单的方式是发送resync命令,让该节点重新进行initial sync。
7)多线程复制
MongoDB允许通过多线程进行批量写操作来提高并发能力,MongoDB将批操作通过命名空间来分组。