一： 安装和部署


 


 


Sharding 和Replica Set类似，都需要一个仲裁节点，但是Sharding还需要配置节点和路由节点。就三种集群搭建方式来说，这种是最复杂的。部署图如下：




第八章：sharding 分片_mongodb



这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在 sharding 的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式 MongoDB集群。 MongoDB  的数据分块称为  chunk。每个  chunk  都是  Collection  中一段连续的数据记录，通常最大尺寸是  200MB，超出则生成新的数据块。


要构建一个  MongoDB Sharding Cluster，需要三种角色：



Shard Server

即存储实际数据的分片，每个Shard可以是一个mongod实例，也可以是一组mongod实例构成的Replica Set。为了实现每个Shard内部的auto-failover，MongoDB 官方建议每个Shard为一组Replica Set。 


Config Server 




为了将一个特定的collection存储在多个shard中，需要为该collection指定一个shard key，例如{age: 1}  ，shard key可以决定该条记录属于哪个chunk。



Route Process 




这是一个前端路由，客户端由此接入，然后询问 Config  Servers 需要到哪个 Shard 上查询或保存记录，再连接相应的Shard进行操作，最后将结果返回给客户端。客户端只需要将原本发给mongod的查询或更新请求原封不动地发给 Routing Process，而不必关心所操作的记录存储在哪个Shard上。 


 


 


一般来说一个数据节点对应一个配置节点，仲裁节点则不需要对应的配置节点。注意在启动路由节点时，要将配置节点地址写入到启动命令里。



2.部署 Replica Sets 


环境： redhat linux5.5  







1. 建立数据文件夹


  mkdir -p  /mongodb/data/shared1     --shared1


  mkdir -p /mongodb/log/


  mkdir -p /mongodb/data/shared2     --shared2


  mkdir -p /mongodb/log/


conf/           --控制节点


  mkdir -p /mongodb/log/                    


root/             --路由节点


  mkdir -p /mongodb/log/     


        


  touch  /mongodb/log/shared1.log 


  touch /mongodb/log/shared2.log


conf.log


  touch /mongodb/log/root.log






  touch  /mongodb/shared1.pid  


  touch  /mongodb/shared2.pid


conf.pid


  touch /mongodb/root.pid






  chmod -R  755 /mongodb   --六个节点都执行






2. 启动数据节点




192.168.56.87


./mongod --shardsvr --port 27017 --fork --dbpath /mongodb/data/shared2/ --logpath /mongodb/log/shared2.log  --directoryperdb #192.168.56.88


 



3.启动配置节点



 #192.168.56.89




4.启动路由节点



./mongos  --configdb 192.168.56.89:27017 --port 27017 --fork --logpath /mongodb/log/root.log  --chunkSize 1  #192.168.56.89



./mongos  --configdb 192.168.56.90:27017,192.168.56.91:27017 --port 27017 --fork --logpath /mongodb/log/root.log
BadValue need either 1 or 3 configdbs
try './mongos --help' for more information  --报错了




原因以及解决办法：
mongos.conf文件中configdb参数有误， 在这里路由个数，只能为1 或 3。configdb =  192.168.56.90:27017



mongos 启动参数中，chunkSize 这一项是用来指定 chunk 的大小的，单位是 MB，默认大小
为200MB，为了方便测试Sharding效果，我们把chunkSize 指定为  1MB。 


 



4.配置Sharding



./mongo 192.168.56.90:27017   #这里必须连接路由节点 


>use admin


>db.runCommand({addshard:"192.168.56.87:27017"})    --添加shard server


>db.runCommand({addshard:"192.168.56.88:27017"})   


 --设置分片存储的数据库


>db.runCommand({ shardcollection: "test.users", key: { _id:1 }})  --设置分片的集合名称，且必须指定Shard Key，系统会自动创建索引


5.验证sharing 正常工作(在路由端)

> use test 
  
 switched to db test  
 >  for  (var  i  =  1;  i  <=  5000;  i++)  db.users.insert({age:i,  name:"wangwenlong",  addr:"Beijing",country:"China"})   

   

    mongos>  db.users.stats()
    
 {    
          
    "sharded" : true, 说明此表已被shared
    
      "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",    
      "userFlags" : 1,    
      "capped" : false,    
      "ns" : "test.users",    
      "count" : 5000,    
      "numExtents" : 5,    
      "size" : 560000,    
      "storageSize" : 704512,    
      "totalIndexSize" : 179872,    
      "indexSizes" : {    
           "_id_" : 179872    
      },    
      "avgObjSize" : 112,    
      "nindexes" : 1,    
      "nchunks" : 3,    
      "shards" : {    
           "    shard0000"
     : {
    
                "ns" : "test.users",    
                "    count" : 4999,    --此分片上有将近5k数据
    
                "size" : 559888,    
                "avgObjSize" : 112,    
                "numExtents" : 4,    
                "storageSize" : 696320,    
                "lastExtentSize" : 524288,    
                "paddingFactor" : 1,    
                "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",    
                "userFlags" : 1,    
                "capped" : false,    
                "nindexes" : 1,    
                "totalIndexSize" : 171696,    
                "indexSizes" : {    
                     "_id_" : 171696    
                },    
                "ok" : 1    
           },    
               
    "shard0001" :
     {
    
                    
    "ns" : "test.users",
                "count" : 1,    
                "size" : 112,    
                "avgObjSize" : 112,    
                "numExtents" : 1,    
                "storageSize" : 8192,    
                "lastExtentSize" : 8192,    
                "paddingFactor" : 1,    
                "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",    
                "userFlags" : 1,    
                "capped" : false,    
                "nindexes" : 1,    
                "totalIndexSize" : 8176,    
                "indexSizes" : {    
                     "_id_" : 8176    
                },    
                "ok" : 1    
           }    
      },    
      "ok" : 1    
 }    
 mongos>



看上述结果，表明 test.users 集合已经被分片处理了，但是通过 mongos 路由，我们并感觉不到是数据存放在哪个 shard 的 chunk 上的，这就是 MongoDB 用户体验上的一个优势，即对用户是透明的。