mongodb 分库 mongodb 分布

一、MongoDB简介

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

MongoDB特点有：高性能、易部署、易使用，存储数据非常方便。主要功能特性有：面向集合存储，易存储对象类型的数据。

MongoDB 对比关系型数据库：

二、MongoDB的应用场景

传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。这理三高指 对数据库高并发读写的需求、 对海量数据的高效率存储和访问的需求、对数据库的高可扩展性和高可用性的需求。

而MongoDB可应对“三高”需求，应用场景比如：

1. 社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。
2. 游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问。
3. 物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将
   订单所有的变更读取出来。
4. 物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。
5. 视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。

这些应用场景中，数据操作方面的共同特点是，数据量大、写入操作频繁（读写都很频繁）、价值较低的数据，对事务性要求不高
对于这样的数据，我们更适合使用MongoDB来实现数据的存储。

三、什么情况下选择MongoDB

如果选型使用MongoDB 需求考虑下面问题：

1. 应用不需要事务及复杂 join 支持
2. 新应用，需求会变，数据模型无法确定，想快速迭代开发
3. 应用需要2000-3000以上的读写QPS（更高也可以）
4. 应用需要TB甚至 PB 级别数据存储
5. 应用发展迅速，需要能快速水平扩展
6. 应用要求存储的数据不丢失
7. 应用需要99.999%高可用
8. 应用需要大量的地理位置查询、文本查询

四、MongoDB数据模型

MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上。BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持
内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想。Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression 和code。

数据类型	描述	举例
字符串	UTF-8字符串都可表示为字符串类型的数据	{“x” : “foobar”}
对象id	对象id是文档的12字节的唯一 ID	{“X” :ObjectId() }
布尔值	真或者假：true或者false	{“x”:true}+
数组	值的集合或者列表可以表示成数组	{“x” ： [“a”, “b”, “c”]}
32位整数	类型不可用。JavaScript仅支持64位浮点数，所以32位整数会被自动转换。	shell是不支持该类型的，shell中默认会转换成64位浮点数
64位整数	不支持这个类型。shell会使用一个特殊的内嵌文档来显示64位整数	shell是不支持该类型的，shell中默认会转换成64位浮点数
64位浮点数	shell中的数字就是这一种类型	{“x”：3.14159，“y”：3}
null	表示空值或者未定义的对象	{“x”:null}
undefined	文档中也可以使用未定义类型	{“x”:undefined}
符号	shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串
正则表达式	文档中可以包含正则表达式，采用JavaScript的正则表达式语法	{“x” ： /foobar/i}
代码	文档中还可以包含JavaScript代码	{“x” ： function() { /* …… */ }}
二进制数据	二进制数据可以由任意字节的串组成，不过shell中无法使用
最大值/最小值	BSON包括一个特殊类型，表示可能的最大值。shell中没有这个类型。

提示：
shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}。对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符
号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}

五、CenterOS搭建单机MongoDB

1. 下载MongoDb，并上传至服务器

2. 解压项目

tar -zxvf mongodb-linux-x86_64-4.0.10.tgz

3. 创建数据存储目录

mkdir -p /mongodb/data/db

4. 创建日志存储目录

mkdir -p /mongodb/log

5. 编写配置文件

vi /mongodb/mongod.conf

# 设置端口号（默认的端口号是 27017）
port = 27017

# 设置数据文件的存放目录
dbpath = /mongodb/data/db

# 设置日志文件的存放目录及其日志文件名
logpath = /mongodb/log/mongod.log

#使用追加的方式写日志
logappend=true

# 设置为以守护进程的方式运行，即在后台运行
fork = true

#最大同时连接数
maxConns=100
  
#不启用验证
noauth=true

#每次写入会记录一条操作日志（通过journal可以重新构造出写入的数据）
journal=true

#即使宕机，启动时wiredtiger会先将数据恢复到最近一次的checkpoint点，然后重放后续的journal日志来恢复
#存储引擎有mmapv1、wirtiger、mongorocks
storageEngine=wiredTiger

#外部访问了
bind_ip=0.0.0.0

6. 启动mongodb，进入上面解压的文件夹下bin目录下：

./mongod -f /mongodb/mongod.conf

如果启动后不是 successfully ，则是启动失败了。原因基本上就是配置文件有问题。

7. 通过进程来查看服务是否启动了

ps -ef |grep mongod

8. 停止关闭服务

如果通过杀进程的方式停止服务，有可能会出现数据出错。
正确的方式应该是：
先登录当前MongoD

mongo --port 27017

切换到admin库

use admin

关闭服务

db.shutdownServer()

9. 如果使用杀进程的方式停止服务有可能或导致数据错误，解决办法：

删除lock文件：

rm -f /mongodb/data/db/*.lock

修复数据

./mongod --repair --dbpath=/mongodb/data/db

六、MongoDB基本操作

1. 远程连接

mongo --host=127.0.0.1 --port=27017

2. 查看已经有的数据库

show dbs
或者
show databases

3. 选择和创建数据库（数据库不存在则创建）

use testdb

4. 删除当前数据库

db.dropDatabase()

5. 显示创建集合（也可以直接insert数据，如果没有集合会自动创建集合）

db.createCollection("testtable")

集合的命名规范：

集合名不能是空字符串""。
集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾。
集合名不能以"system."开头，这是为系统集合保留的前缀。
用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$。

6. 查看当前库中的所有集合

show collections
或
show tables

7. 删除集合

db.testtable.drop()

8. 插入数据

db.testtable.insert({"_id":1,"name":"abc","age":18,"gender":60})

1）testtable集合如果不存在，则会隐式创建
2）mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了。
3）插入当前日期使用 new Date()
4）插入的数据没有指定 _id ，会自动生成主键值
5）如果某字段没值，可以赋值为null，或不写该字段。

9. 批量插入

db.testtable.insert([
	{"_id":2,"name":"abc","age":18,"gender":60},
	{"_id":3,"name":"abc","age":18,"gender":60}
])

10. 查询所有数据

db.testtable.find()

11. 条件查询

db.testtable.find({_id:2})

12. 查询符合条件的第一条数据

db.testtable.findOne({name:"abc"})

13. 投影查询

db.testtable.findOne({name:"abc"},{name:1,age:1})

其中1 为显示，0为隐藏
但默认_id字段会显示，如果要隐藏则可以

db.testtable.findOne({name:"abc"},{name:1,age:1,_id:0})

14. 文档的更新

db.testtable.update({_id:1},{name:"qwe"})

执行后，我们会发现，这条文档除了name字段其它字段都不见了，上面为覆盖修改，会将原来的数据覆盖，局部修改需要放在$set中：

db.testtable.update({"_id":2},{$set:{name:"asd"}})

使用上面这种方式，如果条件查出来有多条，可以发现真正修改的只有第一条，以为MongoDB默认只修改第一条数据，修改多条只需：

db.testtable.update({_id:2},{$set:{"name":"asd"}},{multi:true})

如果一个数值类型想在原有基础上加1，又不想查询数据，mongodb的$inc就可以完成：

db.comment.update({_id:"3"},{$inc:{age:NumberInt(1)}})

减一：

db.comment.update({_id:"3"},{$inc:{age:NumberInt(-1)}})

15. 删除文档

db.testtable.remove({_id:1})

16. 统计查询

db.testtable.count()
db.testtable.count({name:"asd"})

17. 分页查询

mongodb分页主要靠skip和limit两个函数，skip表示跳过多少条的数据，limit表示返回多少条数据：

db.testtable.find().skip(1).limit(1)

18. 排序查询
    mongodb中的排序是使用 1 和 -1 来指定排序的方式，其中 1 为升序排列， -1 为降序排列

db.testtable.find().sort({gender:1})

skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关。

19. 基于正则的模糊查询

mongodb支持正则表达式查询
全模糊查询：

db.testtable.find({name:/a/})

注意：没有引号。

查询开头为某个字符的：

db.testtable.find({name:/^a/}))})

20. 比较查询

<, <=, >, >= 这个操作符也是很常用的

db.testtable.find({age : { $gt: 18 }}) // 大于 > 
db.testtable.find({age : { $lt: 18 }}) // 小于 <  
db.testtable.find({age : { $gte: 18 }}) // 大于等于 >= 
db.testtable.find({age : { $lte: 18 }}) // 小于等于 <= 
db.testtable.find({age : { $ne: 18 }}) // 不等于 !=

21. 包含查询 in/nin

包含：

db.testtable.find({name:{$in:["asd","abc"]}})

不包含：

db.testtable.find({name:{$nin:["asd","abc"]}})

22. 条件连接查询 and/or

and

db.testtable.find({$and:[{name:"asd"},{age:18}]})

or

db.testtable.find({$or:[{name:"asd"},{name:"abc"}]})

七、MongoDB的索引

索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。

如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数。索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。索引项的排序支持有效的相等匹配和基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。

MongoDB索引使用B树数据结构（确切的说是B-Tree，MySQL是B+Tree）

1. 单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）。
对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。

2. 复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。
复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。

3. 其他索引

地理空间索引（Geospatial Index）、文本索引（Text Indexes）、哈希索引（Hashed Indexes）。

地理空间索引（Geospatial Index）
为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面
几何的二维球面索引。

文本索引（Text Indexes）
MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”），
而将集合中的词作为词干，只存储根词。

哈希索引（Hashed Indexes）
为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询。

八、MongoDB索引操作

1. 查看集合的所有索引

db.testtable.getIndexes()

默认_id索引：

MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 id ，该索引可防止客户端插入两个具有相同值的文档，您不能在_id字段上删除此索引。

注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键。

2. 创建索引

其中1 为指定按升序创建索引，如果你想按降序来创建索引指定为 -1 即可

db.testtable.createIndex({name:1})

再次查看索引：

3. 创建复合索引

根据age升序，根据gender降序：

db.testtable.createIndex({age:1,gender:-1})

再次查看：

4. 索引的移除

删除name升序的索引：

db.testtable.dropIndex({name:1})

5. 删除所有索引

db.testtable.dropIndexes()

6. 查看是否走了索引：

db.testtable.find().explain()

其中COLLSCAN 代表全集合扫描

IXSCAN则是基于索引的扫描。