mongodb集群搭建原理 mongodb集群搭建的三种方式

转载

mob64ca13f8eecb 2023-08-12 15:33:08

文章标签 mongodb集群搭建原理 mongodb 大数据 d3 副本集 文章分类 MongoDB 数据库

一、Mongodb集群( no-sql库)集群搭建

1.mongo集群的拓扑图，先简单了解一下

mongodb集群搭建原理 mongodb集群搭建的三种方式_副本集

2.安装 mongodb到node1，2，3节点(以下操作node1,2,3各节点上都要执行，建议使用xshell)

(1) 配置mongo的yum源

命令：vi /etc/yum.repos.d/mongodb-org.repo

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_02

按i进入编辑模式，粘贴下面的代码，后保存退出

[mongodb-org]
name=MongoDB Repository
baseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Server/mongodb-org/3.2/x86_64/
gpgcheck=0
enabled=1

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb集群搭建原理_03

(2) 进入etc/sysconfig/selinux目录下，关闭selinux(可选 )

命令：vi /etc/sysconfig/selinux 补充：selinux是什么呢?
安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。

将SELINUX改为disabled

SELINUX=disabled

注意：修改完后，需要重启
命令：reboot

(3) 重启后，可选择更新一下源(时间较久)

之后在线安装mongodb

更新源的命令：yum update

mongodb集群搭建原理 mongodb集群搭建的三种方式_大数据_04

在线安装mongodb的命令：yum install -y mongodb-org

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_05

(4) 修改配置文件命令：vi /etc/mongod.conf

注释掉bindIp或者修改成当前机器的某一个ip地址。作用：让其他机器可以正常连接虚拟机中的mongodb

mongodb集群搭建原理 mongodb集群搭建的三种方式_大数据_06

3. 在node1,node2,node3创建一个mongo目录(以下操作node1,2,3各节点上都要执行)

(1) 在node1,node2,node3创建一个mongo目录

命令：mkdir /opt/mongo

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_07

(2) 在mongo文件夹底下创建mongos, config, shard1,shard2,shard3五个文件夹，命令如下：

mkdir /opt/mongo/mongos
mkdir /opt/mongo/config
mkdir /opt/mongo/shard1
mkdir /opt/mongo/shard2
mkdir /opt/mongo/shard3

(3) 在五个文件夹中分别对应三个子目录用来存 data,log, run

mkdir /opt/mongo/mongos/data
mkdir /opt/mongo/config/data
mkdir /opt/mongo/shard1/data
mkdir /opt/mongo/shard2/data
mkdir /opt/mongo/shard3/data

mkdir /opt/mongo/mongos/log
mkdir /opt/mongo/config/log
mkdir /opt/mongo/shard1/log
mkdir /opt/mongo/shard2/log
mkdir /opt/mongo/shard3/log

mkdir /opt/mongo/mongos/run 
mkdir /opt/mongo/config/run 
mkdir /opt/mongo/shard1/run 
mkdir /opt/mongo/shard2/run 
mkdir /opt/mongo/shard3/run

4.在node1,node2,node3先创建config server(以下操作node1,2,3各节点上都要执行)

(1) 分别在多台机器上创建mongo config server对应的目录

命令：mkdir -p /opt/mongo/config/{log,data,run}

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_08

(2) 分别在多台机器上修改config server的配置文件，粘贴以下代码内容后保存

命令：vi /opt/mongo/config/mongod.conf

systemLog:
  destination: file
  logAppend: true
  path: /opt/mongo/config/log/mongod.log
storage:
  dbPath: /opt/mongo/config/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /opt/mongo/config/run/mongod.pid
net:
  port: 24000
replication:
  replSetName: config
sharding:
  clusterRole: configsvr

(3) 启动所有的mongo config server服务
命令：mongod --config /opt/mongo/config/mongod.conf

若执行命令过程中遇到下面的问题（解决方案如下）

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_09

手动设置变量，这需要在环境变量配置文件里添加一行。

命令： vi /etc/profile

export LC_ALL=C

刷新环境变量，命令：source /etc/profile 再执行mongod --config /opt/mongo/config/mongod.conf命令即可

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_10

5.测试登录node1,2,3中一台的config server，以创建配置并激活

以登录node1中的mongo config server为例):

命令：mongo --port 24000

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_11

6. 运行配置(这里一个节点上执行就可)

(1) 在刚刚登陆的节点中执行以下命令

注意：members数组中改为自己节点的ip，_id: config 必须与前面的 config server配置文件中的 replSetName: config 一致

config = {
   _id : "config",
    members : [
        {_id : 0, host : "192.168.28.201:24000" },
        {_id : 1, host : "192.168.28.202:24000" },
        {_id : 2, host : "192.168.28.203:24000" }
    ]
}

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_12

(2) 初始化副本集配置

命令：rs.initiate(config)

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_13

(3) 查看分区状态

命令：rs.status()

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_14

7. 给node1,2,3 各创建第一个分片和副本集(以下操作node1,2,3各节点上都要执行)

(1) 修改mongo shard1 server的配置文件

命令：mkdir -p /opt/mongo/shard1/{log,data,run}

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_15

(2) 分别在多台机器上修改shard1 server的配置文件，粘贴以下配置并保存

命令：vi /opt/mongo/shard1/mongod.conf

systemLog:
  destination: file
  logAppend: true
  path: /opt/mongo/shard1/log/mongod.log
storage:
  dbPath: /opt/mongo/shard1/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /opt/mongo/shard1/run/mongod.pid
net:
  port: 25001
replication:
  replSetName: shard1
sharding:
  clusterRole: shardsvr

(3) 启动所有的shard1 server

命令：mongod --config /opt/mongo/shard1/mongod.conf

mongodb集群搭建原理 mongodb集群搭建的三种方式_大数据_16

(4) 登陆任意一台shard1服务器(希望哪一台机器是主，就登录到那一台机器上,这里是准备将node1设为shard1的主节点)，初始化副本集(以下内容在一个节点上执行)

命令：mongo --port 25001(5) 在(4)中登陆的节点上使用admin数据库

命令：use admin

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_17

(6) 定义副本集配置，执行下面的内容

注意：members数组中改为自己节点的ip，shard1 名字与上面的要一样，副本集中各节点的顺序, 第一个节点是主节点

config = {
   _id : "shard1",
    members : [
        {_id : 0, host : "192.168.28.201:25001" },
        {_id : 1, host : "192.168.28.202:25001" },
        {_id : 2, host : "192.168.28.203:25001" }
    ]
}

(7) 初始化副本集配置

命令：rs.initiate(config)

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_18

(8) 查看分区状态

命令：rs.status()

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_19

8. 给node1,2,3 各创建第二个分片和副本集(以下操作node1,2,3各节点上都要执行)

(1) 修改mongo shard2 server的配置文件

命令： mkdir -p /opt/mongo/shard2/{log,data,run}

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_20

(2) 分别在多台机器上修改shard2 server的配置文件，粘贴以下内容后保存

命令：vi /opt/mongo/shard2/mongod.conf

systemLog:
  destination: file
  logAppend: true
  path: /opt/mongo/shard2/log/mongod.log
storage:
  dbPath: /opt/mongo/shard2/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /opt/mongo/shard2/run/mongod.pid
net:
  port: 25002
replication:
  replSetName: shard2
sharding:
  clusterRole: shardsvr

(3) 启动所有的shard2 server

命令：mongod --config /opt/mongo/shard2/mongod.conf

mongodb集群搭建原理 mongodb集群搭建的三种方式_副本集_21

(4) 登陆任意一台shard2服务器(希望哪一台机器是主，就登录到那一台机器上,这里是准备将node2设为shard2的主节点)，初始化副本集(以下操作在单节点上执行)

命令：mongo --port 25002

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_22

(5) 使用admin数据库

命令：use admin

(6) 定义副本集配置，注意改为自己节点的ip

config = {
   _id : "shard2",
    members : [
        {_id : 0, host : "192.168.28.202:25002" },
        {_id : 1, host : "192.168.28.201:25002" },
        {_id : 2, host : "192.168.28.203:25002" }
    ]
}

(7) 初始化副本集配置

命令：rs.initiate(config)

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_23

(8) 查看分区状态

命令：rs.status()9. 给node1,2,3 各创建第三个分片和副本集(以下操作node1,2,3各节点上都要执行)

(1) 修改mongo shard3 server的配置文件

命令： mkdir -p /opt/mongo/shard3/{log,data,run}

mongodb集群搭建原理 mongodb集群搭建的三种方式_副本集_24

(2) 分别在多台机器上修改shard3 server的配置文件，粘贴以下内容后保存

命令：vi /opt/mongo/shard3/mongod.conf

systemLog:
  destination: file
  logAppend: true
  path: /opt/mongo/shard3/log/mongod.log
storage:
  dbPath: /opt/mongo/shard3/data
  journal:
    enabled: true
processManagement:
  fork: true
  pidFilePath: /opt/mongo/shard3/run/mongod.pid
net:
  port: 25003
replication:
  replSetName: shard3
sharding:
  clusterRole: shardsvr

(3) 启动所有的shard3 server

命令：mongod --config /opt/mongo/shard3/mongod.conf

mongodb集群搭建原理 mongodb集群搭建的三种方式_mongodb_25

(4) 登陆任意一台shard3服务器(希望哪一台机器是主，就登录到那一台机器上,这里是准备将node3设为shard3的主节点)，初始化副本集(以下操作在单节点上执行)

命令：mongo --port 25003

mongodb集群搭建原理 mongodb集群搭建的三种方式_副本集_26

(5) 使用admin数据库

命令：use admin

(6) 定义副本集配置，注意改为自己节点的ip

config = {
   _id : "shard3",
    members : [
        {_id : 0, host : "192.168.28.203:25003" },
        {_id : 1, host : "192.168.28.201:25003" },
        {_id : 2, host : "192.168.28.202:25003" }
    ]
}

(7) 初始化副本集配置
命令：rs.initiate(config)

(8) 查看分区状态
命令：rs.status()

10.安装配置 mongos 进程, 给node1, 2,3各创建目录(以下操作node1,2,3各节点上都要执行)

(1) 创建 mongos 进程所在的目录

命令：mkdir -p /opt/mongo/mongos/{log,data,run}

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_27

(2)添加mongs的配置文件，粘贴以下内容并保存（注意改为自己的ip）

命令：vi /opt/mongo/mongos/mongod.conf

systemLog:
  destination: file
  logAppend: true
  path: /opt/mongo/mongos/log/mongod.log
processManagement:
  fork: true
  pidFilePath: /opt/mongo/mongos/run/mongod.pid
net:
  port: 23000
sharding:
  configDB: config/192.168.28.201:24000,192.168.28.202:24000,192.168.28.203:24000

(3) 启动所有的路由服务器

命令：mongos --config /opt/mongo/mongos/mongod.conf

mongodb集群搭建原理 mongodb集群搭建的三种方式_副本集_28

(4) 登录其中的一台路由节点，手动启用分片(以下操作选用一台节点，我用node3)

命令：mongo --port 23000

(5) 添加分片到mongos(注意修改自己节点的ip)

sh.addShard("shard1/192.168.28.201:25001,192.168.28.202:25001,192.168.28.203:25001")
sh.addShard("shard2/192.168.28.202:25002,192.168.28.201:25002,192.168.28.203.25002")
sh.addShard("shard3/192.168.28.203:25003,192.168.28.201:25003,192.168.28.202:25003")

11.设置slave可读(在命令行中生效一次)，如果配置从接到可读，那么是连接客户端指定的
命令(在node3中执行一次即可)：rs.slaveOk()

12.使用node1,node2,node3 联接 mongos 客户端, 来操作mongo集群，并在其中创建库并开启分片功能
(1) 创建库
命令：use mybike (2) 创建 bikes集合
命令：db.createCollection("bikes") (3) 切换到admin库，再指定某个库启用分片
命令：use admin (4 对mybike这个数据库开启分片功能
命令：db.runCommand({"enablesharding":"mybike"}) (5) 对mybike数据库下的bikes集合按id的hash进行分片
命令：db.runCommand({"shardcollection":"mybike.bikes","key":{_id:'hashed'}}) (6) 又切换回 mybike库
命令：use mybike (7) 切换到 mybike库，向bikes集合中插入数据

db.bikes.insert(   {"status": 1, "loc": [28.189153,112.960318],"qrcode":""}   )
db.bikes.insert(   { "status": 1, "loc": [28.189155,112.960318],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.189159,112.960318],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.189163,112.960318],"qrcode":""}   )
db.bikes.insert(   { "status": 1, "loc": [28.189170,112.960318],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.189393,112.943868],"qrcode":""}   )
db.bikes.insert(   { "status": 1, "loc": [28.197871,112.957641],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.201437,112.960336],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.201487,112.960336],"qrcode":""}   )
db.bikes.insert(   {"status": 1, "loc": [28.20392,112.958953],"qrcode":""}   )
db.bikes.insert(  {"status" : 1, "loc" : [ 28.204381, 112.959887 ], "qrcode" : ""} )
db.bikes.insert(  {  "status" : 1, "loc" : [ 28.204391, 112.959885 ], "qrcode" : ""   } )
db.bikes.insert(  {  "status" : 1, "loc" : [ 28.204481, 112.959789 ], "qrcode" : ""   } )
db.bikes.insert(  {   "status" : 1, "loc" : [ 28.204181, 112.959671 ], "qrcode" : ""  } )
db.bikes.insert(  {  "status" : 1, "loc" : [ 28.204881, 112.959556 ], "qrcode" : ""   } )
db.bikes.insert(  { "status" : 1, "loc" : [ 28.204681, 112.959874 ], "qrcode" : ""    } )
db.bikes.insert(  { "status" : 1, "loc" : [ 28.204201, 112.959867 ], "qrcode" : ""    } )
db.bikes.insert(  {   "status" : 1, "loc" : [ 28.2043941, 112.959854 ], "qrcode" : ""  } )

(8) 在mongos 进程中查询得到的结果是所有分片要满足条件的结果

登陆命令：mongo --port 23000 查看所有库：show dbs

使用mybike库：use mybike

查看mybike库里面集合：show collections

查询集合里面数据：db.bikes.find()

mongodb集群搭建原理 mongodb集群搭建的三种方式_d3_29