MongoDB副本集笔记
- 前言
- 1.简介
- 2.三个角色
- 3.架构目标
- 4.副本集的创建
- 第一步:创建主节点
- 第二步:创建副本节点
- 第三步:创建仲裁节点
- 第四步:初始化配置副本集
- 第五步:添加副本节点
- 第六步:添加仲裁节点
- 5.副本集的读写
- 6.主节点的选举规则
- 7.故障测试
- 8.Compass连接副本集
- 9.SpringDataMongoDB连接副本集
- 总结
前言
为了实现副本集的高可用,MongoDB通过启动多台服务,同一数据异步备份,达到提高可用性的目的。
1.简介
MongoDB中的副本集(Replica Set)是一组维护相同数据集的mongod服务。 副本集可提供冗余和高可用性,是所有生产部署的基础。
副本集总有一个活跃点(主、primary)和一个或多 个备份节点(从、secondary)。
2.三个角色
副本集有两种类型三种角色
两种类型:
主节点(Primary)类型:数据操作的主要连接点,可读写。
次要(辅助、从)节点(Secondaries)类型:数据冗余备份节点,可以读或选举。
三种角色:
主要成员(Primary):主要接收所有写操作。就是主节点。
副本成员(Replicate):从主节点通过复制操作以维护相同的数据集,即备份数据,不可写操作,但可 以读操作(但需要配置)。是默认的一种从节点类型。
仲裁者(Arbiter):不保留任何数据的副本,只具有投票选举作用。当然也可以将仲裁服务器维护为副 本集的一部分,即副本成员同时也可以是仲裁者。也是一种从节点类型。
关于仲裁者的额外说明:
您可以将额外的mongod实例添加到副本集作为仲裁者。 仲裁者不维护数据集。 仲裁者的目的是通过 响应其他副本集成员的心跳和选举请求来维护副本集中的仲裁。 因为它们不存储数据集,所以仲裁器可 以是提供副本集仲裁功能的好方法,其资源成本比具有数据集的全功能副本集成员更便宜。
如果您的副本集具有偶数个成员,请添加仲裁者以获得主要选举中的“大多数”投票。 仲裁者不需要专用 硬件。 仲裁者将永远是仲裁者,而主要人员可能会退出并成为次要人员,而次要人员可能成为选举期间的主要 人员。
如果你的副本+主节点的个数是偶数,建议加一个仲裁者,形成奇数,容易满足大多数的投票。 如果你的副本+主节点的个数是奇数,可以不加仲裁者。
3.架构目标
一主一副本一仲裁
4.副本集的创建
第一步:创建主节点
1)建立存放数据和日志的目录
#-----------myrs
#主节点
mkdir -p /mongodb/replica_sets/myrs_27017/log \ &
mkdir -p /mongodb/replica_sets/myrs_27017/data/db
2)建立配置文件
vim /mongodb/replica_sets/myrs_27017/mongod.conf
内容如下:
systemLog:
#MongoDB发送所有日志输出的目标指定为文件
destination: file
#mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
path: "/mongodb/replica_sets/myrs_27017/log/mongod.log"
#当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
logAppend: true
storage:
#mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
dbPath: "/mongodb/replica_sets/myrs_27017/data/db"
journal:
#启用或禁用持久性日志以确保数据文件保持有效和可恢复。
enabled: true
processManagement:
#启用在后台运行mongos或mongod进程的守护进程模式。
fork: true
#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
pidFilePath: "/mongodb/replica_sets/myrs_27017/log/mongod.pid"
net:
#服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
#bindIpAll: true
#服务实例绑定的IP
bindIp: localhost,172.26.23.242
#bindIp
#绑定的端口
port: 27017
replication:
#副本集的名称
replSetName: myrs
3)启动服务
/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27017/mongod.conf
第二步:创建副本节点
1)建立存放数据和日志的目录
#-----------myrs
#副本节点
mkdir -p /mongodb/replica_sets/myrs_27018/log \ &
mkdir -p /mongodb/replica_sets/myrs_27018/data/db
2)新建配置文件
vim /mongodb/replica_sets/myrs_27018/mongod.conf
内容如下:
systemLog:
#MongoDB发送所有日志输出的目标指定为文件
destination: file
#mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
path: "/mongodb/replica_sets/myrs_27018/log/mongod.log"
#当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
logAppend: true
storage:
#mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
dbPath: "/mongodb/replica_sets/myrs_27018/data/db"
journal:
#启用或禁用持久性日志以确保数据文件保持有效和可恢复。
enabled: true
processManagement:
#启用在后台运行mongos或mongod进程的守护进程模式。
fork: true
#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
pidFilePath: "/mongodb/replica_sets/myrs_27018/log/mongod.pid"
net:
#服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
#bindIpAll: true
#服务实例绑定的IP
bindIp: localhost,172.26.23.242
#bindIp
#绑定的端口
port: 27018
replication:
#副本集的名称
replSetName: myrs
3)启动服务
/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27018/mongod.conf
第三步:创建仲裁节点
1)建立存放数据和日志的目录
#-----------myrs
#仲裁节点
mkdir -p /mongodb/replica_sets/myrs_27019/log \ &
mkdir -p /mongodb/replica_sets/myrs_27019/data/db
2)创建配置文件
vim /mongodb/replica_sets/myrs_27019/mongod.conf
内容如下:
systemLog:
#MongoDB发送所有日志输出的目标指定为文件
destination: file
#mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
path: "/mongodb/replica_sets/myrs_27019/log/mongod.log"
#当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
logAppend: true
storage:
#mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
dbPath: "/mongodb/replica_sets/myrs_27019/data/db"
journal:
#启用或禁用持久性日志以确保数据文件保持有效和可恢复。
enabled: true
processManagement:
#启用在后台运行mongos或mongod进程的守护进程模式。
fork: true
#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
pidFilePath: "/mongodb/replica_sets/myrs_27019/log/mongod.pid"
net:
#服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
#bindIpAll: true
#服务实例绑定的IP
bindIp: localhost,172.26.23.242
#bindIp
#绑定的端口
port: 27019
replication:
#副本集的名称
replSetName: myrs
3)启动服务:
/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27019/mongod.conf
第四步:初始化配置副本集
**第一步:**先将主节点连接,进行副本集的初始化
使用客户端命令连接任意一个节点,但这里尽量要连接主节点(27017节点):
/usr/local/mongodb/bin/mongo --host=180.76.159.126 --port=27017
结果,连接上之后,很多命令无法使用,,比如 show dbs 等,必须初始化副本集才行
准备初始化新的副本集:
# 语法
rs.initiate(configuration)
【示例】
使用默认的配置来初始化副本集:
rs.initiate()
提示:
1)“ok”的值为1,说明创建成功。
2)命令行提示符发生变化,变成了一个从节点角色,此时默认不能读写。稍等片刻,回车,变成主节点。
**第二步:**查看副本集的配置内容
说明:
返回包含当前副本集配置的文档。
语法:
rs.conf(configuration)
# 他的别名如下
rs.config()
configuration:可选,如果没有配置,则使用默认主节点配置。
【示例】
在27017上执行副本集中当前节点的默认节点配置
rs.conf();
说明:
1) “_id” : “myrs” :副本集的配置数据存储的主键值,默认就是副本集的名字
2) “members” :副本集成员数组,此时只有一个: “host” : “180.76.159.126:27017” ,该成员不 是仲裁节点: “arbiterOnly” : false ,优先级(权重值): “priority” : 1,
3) “settings” :副本集的参数配置。
提示:副本集配置的查看命令,本质是查询的是 system.replset 的表中的数据:
**第三步:**查看副本集状态
返回包含状态信息的文档。此输出使用从副本集的其他成员发送的心跳包中获得的数据反映副本集的当前状态。
语法:
rs.status()
【示例】
说明:
1) “set” : “myrs” :副本集的名字
2) “myState” : 1:说明状态正常
3) “members” :副本集成员数组,此时只有一个: “name” : “180.76.159.126:27017” ,该成员的 角色是 “stateStr” : “PRIMARY”, 该节点是健康的: “health” : 1 。
第五步:添加副本节点
在主节点添加从节点,将其他成员加入到副本集
语法:
rs.add(host, arbiterOnly)
参数:
Parameter | Type | Description |
host | String or document | 要添加到副本集的新成员。 指定为字符串或配置文档:1)如 果是一个字符串,则需要指定新成员的主机名和可选的端口 号;2)如果是一个文档,请指定在members数组中找到的副 本集成员配置文档。 您必须在成员配置文档中指定主机字段。 有关文档配置字段的说明,详见下方文档:“主机成员的配置文 档” |
arbiterOnly | boolean | 可选的。 仅在 值为字符串时适用。 如果为true,则添加的主机是仲裁者。 |
主机成员的配置文档
{
_id: <int>,
host: <string>, // required
arbiterOnly: <boolean>,
buildIndexes: <boolean>,
hidden: <boolean>,
priority: <number>,
tags: <document>,
slaveDelay: <int>,
votes: <number>
}
【示例】
将27018的副本节点添加到副本集中:
rs.add("172.26.23.242:27018");
1) “ok” : 1 :说明添加成功。
查看副本集状态:
rs.status()
“name” : “180.76.159.126:27018” 是第二个节点的名字,其角色是 “stateStr” : “SECONDARY”
第六步:添加仲裁节点
语法:
rs.addArb(host)
【示例】
将27019添加到副本集
rs.addArb("172.26.23.242:27019")
查看副本集状态:
rs.status()
“name” : “180.76.159.126:27019” 是第二个节点的名字,其角色是 “stateStr” : “ARBITER”
5.副本集的读写
目标:测试三个不同角色的节点的数据读写情况。
1)测试主节点
# 连接主节点
/usr/local/mongodb/bin/mongo
#切换数据库
use articledb
#插入数据
db.comment.insert({"articleid":"100000","content":"今天天气真好,阳光明媚","userid":"1001","nickname":"Rose","createdatetime":new Date()})
#查询数据
db.comment.find()
2)连接从节点
# 连接从节点
/usr/local/mongodb/bin/mongo --port 27018
#查看数据库
show dbs
默认情况下,从节点是没有读写权限的,可以增加读的权限,但需要进行设置。
设置读操作权限
说明:
设置为奴隶节点,允许在从成员上运行读的操作
语法:
rs.slaveOk()
#或
rs.slaveOk(true)
该命令是 db.getMongo().setSlaveOk() 的简化命令。
【示例】
将27018节点设置为奴隶节点,具备读权限。
rs.slaveOk(true)
去掉奴隶节点
rs.slaveOk(false)
3)仲裁者节点,不存放任何业务数据
连接仲裁者节点
/usr/local/mongodb/bin/mongo --port 27019
发现,只存放副本集配置等数据。
6.主节点的选举规则
MongoDB在副本集中,会自动进行主节点的选举,主节点选举的触发条件:
1) 主节点故障
2) 主节点网络不可达(默认心跳信息为10秒)
3) 人工干预(rs.stepDown(600))
选举规则是根据票数来决定谁获胜:
- 票数最高,且获得了“大多数”成员的投票支持的节点获胜。 “大多数”的定义为:假设复制集内投票成员数量为N,则大多数为 N/2 + 1。例如:3个投票成员, 则大多数的值是2。当复制集内存活成员数量不足大多数时,整个复制集将无法选举出Primary, 复制集将无法提供写服务,处于只读状态。
- 若票数相同,且都获得了“大多数”成员的投票支持的,数据新的节点获胜。 数据的新旧是通过操作日志oplog来对比的。
在获得票数的时候,优先级(priority)参数影响重大。
可以通过设置优先级(priority)来设置额外票数。优先级即权重,取值为0-1000,相当于可额外增加0-1000的票数,优先级的值越大,就越可能获得多数成员的投票(votes)数。指定较高的值可使成员更有资格成为主要成员,更低的值可使成员更不符合条件。
默认情况下,优先级的值是1
要注意是,官方说了,选举节点的优先级必须是0,不能是别的值。即不具备选举权,但具有 投票权
【了解】修改优先级
1)先将配置导入cfg变量
myrs:SECONDARY> cfg=rs.conf()
2)然后修改值,id号默认从0开始
cfg.members[1].priority=2
3)重新加载配置
myrs:SECONDARY> rs.reconfig(cfg)
{ "ok" : 1 }
稍等片刻会重新开始选举。
7.故障测试
1)副本节点故障
- 不会触发选举,此时给主节点插入数据,
- 再次启动副本节点,会发现,主节点写入的数据,会自动同步给从节点。
2)主节点故障
- 触发选举,27018当主节点
- 再次启动27017,发现变成了从节点,数据从27018同步
3)仲裁节点和主节点故障
- 副本集是只读状态,不在进行选举,因为票数没有超过半数
4)仲裁节点和从节点故障
- 副本集是只读状态,不可写入数据了。
8.Compass连接副本集
1)云服务器需要修改配置中节点中的IP
var config = rs.config();
config.members[0].host="47.98.240.66:27017";
config.members[1].host="47.98.240.66:27018";
config.members[2].host="47.98.240.66:27019";
rs.reconfig(config)
9.SpringDataMongoDB连接副本集
语法
mongodb://host1,host2,host3/articledb?connect=replicaSet&slaveOk=true&replicaSet=副本集名字
其中:
slaveOk=true:开启副本节点读的功能,可实现读写分离。
connect=replicaSet:自动到副本集中选择读写的主机。如果slaveOK是打开的,则实现了读写分离
【示例】
连接 replica set 三台服务器 (端口 27017, 27018, 和27019),直接连接第一个服务器,无论是replica set一部分或者主服务器或者从服务器,写入操作应用在主服务器 并且分布查询到从服务器。
修改application.yml文件
# 副本集的连接字符串
spring:
data:
mongodb:
uri: mongodb://47.98.240.66:27017,47.98.240.66:27018,47.98.240.66:27019/articledb?connect=replicaSet&slaveOk=true&replicaSet=myrs
注意:
主机必须是副本集中所有的主机,包括主节点、副本节点、仲裁节点。
测试效果:
# 写日志,连接主节点
2022-01-23 12:49:17.534 INFO 11260 --- [ main] org.mongodb.driver.connection : Opened connection [connectionId{localValue:4, serverValue:70}] to 47.98.240.66:27018
# 读日志,连接从节点
2022-01-23 12:47:57.559 INFO 6804 --- [ main] org.mongodb.driver.connection : Opened connection [connectionId{localValue:4, serverValue:225}] to 47.98.240.66:27017
完整的连接字符串的参考(了解):
mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]
- mongodb:// 这是固定的格式,必须要指定。
- username:password@ 可选项,如果设置,在连接数据库服务器之后,驱动都会尝试登陆这个 数据库 host1 必须的指定至少一个host,
- host1 是这个URI唯一要填写的。它指定了要连接服务器的地 址。如果要连接复制集,请指定多个主机地址。
- portX 可选的指定端口,如果不填,默认为27017
- /database 如果指定username:password@,连接并验证登陆指定数据库。若不指定,默认打开 test 数据库。
- ?options 是连接选项。如果不使用/database,则前面需要加上/。所有连接选项都是键值对 name=value,键值对之间通过&或;(分号)隔开
选项 | 描述 |
replicaSet=name | 验证replica set的名称。 Impliesconnect=replicaSet. |
slaveOk=true|false | true:在connect=direct模式下,驱动会连接第一台机器,即使这台 服务器不是主。在connect=replicaSet模式下,驱动会发送所有的写 请求到主并且把读取操作分布在其他从服务器。false: 在 connect=direct模式下,驱动会自动找寻主服务器. 在 connect=replicaSet 模式下,驱动仅仅连接主服务器,并且所有的 读写命令都连接到主服务器。 |
safe=true|false | true: 在执行更新操作之后,驱动都会发送getLastError命令来确保 更新成功。(还要参考 wtimeoutMS).false: 在每次更新之后,驱动不 会发送getLastError来确保更新成功。 |
w=n | 驱动添加 { w : n } 到getLastError命令. 应用于safe=true。 |
wtimeoutMS=ms | 驱动添加 { wtimeout : ms } 到 getlasterror 命令. 应用于 safe=true. |
fsync=true|false | true: 驱动添加 { fsync : true } 到 getlasterror 命令.应用于 safe=true.false: 驱动不会添加到getLastError命令中。 |
journal=true|false | 如果设置为 true, 同步到 journal (在提交到数据库前写入到实体中). 应用于 safe=true |
connectTimeoutMS=ms | 可以打开连接的时间。 |
socketTimeoutMS=ms | 发送和接受sockets的时间。 |