NoSql简介
NoSQL(Not Only SQL ),意即“不仅仅是SQL” ,指的是非关系型的数据库 。是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。 关系型数据库中的表都是存储一些结构化的数据,每条记录的字段的组成都一样,即使不是每条记录都需要所有的字段,但数据库会为每条数据分配所有的字段。而非关系型数据库以键值对(key-value)存储,它的结构不固定,每一条记录可以有不一样的键,每条记录可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销。
常见的NoSql(非关系型数据库)数据库
键值(Key-Value)存储数据库
* Riak:一个开源、分布式键值数据库,支持数据复制和容错
* Redis:一个开源的键值存储数据库,支持主从式复制、事务,Pub/Sub、Lua脚本,还支持给Key添加时限
* Dynamo:一个键值分布式存储数据库,直接由亚马逊Dynamo数据库实现
* Oracle NoSQL Database:来自Oracle的键值NoSQL数据库,支持事务ACID和JSON
* Oracle NoSQL Database:具备数据备份和分布式键值存储系统
* Voldemort:具备数据备份和分布式键值存储系统
* Aerospike:一个键值存储数据库,支持混合内存架构,通过强一致性和可调一致性保证数据的完整性
列存储数据库
* Cassandra:支持跨数据中心的数据复制,提供列索引
* HBase:一个开源、分布式、面向列存储的模型
* Amazon SimpleDB:一个非关系型数据存储
* Apache Accumulo:有序的、分布式键值数据存储,基于Google的BigTable设计
* Hypertable:一个开源、可扩展的数据库,模仿Bigtable,支持分片
* Azure Tables:为要求大量非结构化数据存储的应用提供NoSQL性能
文档型数据库
* MongoDB:开源、面向文档
* CounchDB:一个使用JSON的文档数据库,使用Javascript做MapReduce查询,也是一个使用HTTP的API
* Couchbase:基于JSON模型
* RavenDB:一个基于.net语言的面向文档数据库
* MarkLogic:用来存储基于XML和以文档为中心的信息,支持灵活的模式
图形(Graph)数据库
* Neo4j:一个图数据库,支持ACID事务
* InfiniteGraph:用来维持和遍历对象间的关系,支持分布式数据存储
* AllegroGraph:结合使用了内存和磁盘,提供了高可扩展性,支持SPARQ、RDFS++和Prolog推理
NoSql数据库优缺点
在优势方面主要体现在下面几点:
简单的扩展
快速的读写
低廉的成本
灵活的数据模型
在不足方面主要有下面几点:
不提供对SQL的支持
支持的特性不够丰富
现有的产品不够成熟
MongoDB简介
MongoDB是用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用,存储数据十分方便,主要特性有:
面向集合存储,易于存储对象类型的数据
模式自由
支持动态查询
支持完全索引,包含内部对象
支持复制和故障恢复
使用高效的二进制数据存储,包括大型对象
文件存储格式为BSON(一种JSON的扩展)
MongoDB和关系数据库的对比
对比项 | mongoDB | mysql oracle |
表 | 集合 | 二维表table |
表的一行数据 | 文档document | 一条记录recoder |
表字段 | 键key | 字段filed |
字段值 | 值value | 值value |
主外键 | 无 | PK FK |
灵活度扩展性 | 极高 | 差 |
MongoDB基本概念
- 文档(document)是MongoDB中数据的基本单元,非常类似于关系型数据库系统中的行(但是比行要复杂的多)。
- 集合(collection)就是一组文档,如果说MongoDB中的文档类似于关系型数据库中的行,那么集合就如同表。
- MongoDB的单个计算机可以容纳多个独立的数据库,每一个数据库都有自己的集合和权限。
- MongoDB自带简洁但功能强大的JavaScript shell,这个工具对于管理MongoDB实例和操作数据作用非常大。
- 每一个文档都有一个特殊的键”_id”,它在文档所处的集合中是唯一的,相当于关系数据库中的表的主键。
MongoDB数据类型
数据类型 | 描述 | 举例 |
null | 表示空值或者未定义的对象 | {“x”:null} |
布尔值 | 真或者假:true或者false | {“x”:true} |
32位整数 | 32位整数。shell是不支持该类型的,shell中默认会转换成64位浮点数 | |
64位整数 | 64位整数。shell是不支持该类型的,shell中默认会转换成64位浮点数 | |
64位浮点数 | 64位浮点数。shell中的数字就是这一种类型 | {“x”:3.14,”y”:3} |
字符串 | UTF-8字符串 | {“foo”:”bar”} |
符号 | shell不支持,shell会将数据库中的符号类型的数据自动转换成字符串 | |
对象id | 文档的12字节的唯一id | {“id”: ObjectId()} |
日期 | 从标准纪元开始的毫秒数 | {“date”:new Date()} |
正则表达式 | 文档中可以包含正则表达式,遵循JavaScript的语法 | {“foo”:/foobar/i} |
代码 | 文档中可以包含JavaScript代码 | {“x”:function() {}} |
未定义 | undefined | {“x”:undefined} |
数组 | 值的集合或者列表 | {“arr”: [“a”,”b”]} |
内嵌文档 | 文档可以作为文档中某个key的value | {“x”:{“foo”:”bar”}} |
MongoDB使用
MongoDB的安装非常简单,只需要将下载的MongoDB的压缩文件解压到任意目录,并将其中的bin目录加入到系统的path环境变量中即可
在启动MongoDB之前,要手动创建一个存放MongoDB数据文件的目录,如D:\mongo_data 在命令行执行 mongod --dbpath=D:\mongo_data
在命令行中可以使用mongo命令连接到MongoDB服务器,如下,输入mongo命令默认连接到本地的名称为test的数据库,如果希望连接到远程数据库,可以使用mongo ip:port
创建数据库,使用命令 use 数据库名称
删除当前数据库,使用命令 db.dropDatabase()
MongoDB常用操作
查看所有数据库,使用命令 show dbs
查看当前所在数据库,使用命令 db
show collections 或使用show tables
创建集合有两种方式,显示创建和隐式创建
db.createCollection(“集合名称")
db.集合名称.insert({}),指创建集合并同时向集合中插入数据,例如:db.customer.insert({name:”jack”})
db.集合名称.insert({}),例如: db.user1.insert({name:”jack”,age:20})
db.集合名称.remove({删除条件}),不加删除条件为删除集合中的所有文档,例如,db.c1.remove() 为删除c1集合中的所有文档,db.c1.remove({name:”user1”})为删除c1集合中name为user1的文档
db.集合名称.find({条件}),或者使用 db.集合名称.findOne()
查询集合中的文档 ,使用条件表达式(<, <=, >, >=,!=)
//大于: field > value db.collection.find({field:{$gt:value}});
//小于: field < value db.collection.find({field:{$lt:value}});
//大于等于: field >= value db.collection.find({field:{$gte:value}});
//小于等于: field <= value db.collection.find({field:{$lte:value}});
//不等于: field != value db.collection.find({field:{$ne:value}});
查询集合中的文档 ,统计(count)、排序(sort)、分页(skip、limit)
db.customer.count();
db.customer.find().count();
db.customer.find({age:{$lt:5}}).count();
db.customer.find().sort({age:1});降序-1
db.customer.find().skip(2).limit(3);
db.customer.find().sort({age:-1}).skip(2).limit(3);
db.customer.find().sort({age:-1}).skip(2).limit(3).count();
db.customer.find().sort({age:-1}).skip(2).limit(3).count(0);
db.customer.find().sort({age:-1}).skip(2).limit(3).count(1);
查询集合中的文档 ,$all主要用来查询数组中的包含关系,查询条件中只要有一个不包含就不返回
db.customer.find({post:{$all:[1,2]}})
查询集合中的文档 ,$in,类似于关系型数据库中的IN
db.customer.find({age:{$in:[1,2]}})
查询集合中的文档 ,$nin,与$in相反
查询集合中的文档 ,$or,相当于关系型数据库中的OR,表示或者的关系,例如查询name为user2或者age为3的文档,命令为: db.customer.find({$or:[{name:”user2”},{age:3}]})
查询集合中的文档 ,$exists,用于查询集合中存在某个键的文档或不存在某个键的文档,例如查询customer集合中存在name键的所有文档,可以使用 db.customer.find({name:{$exists:1}}),
$exists:1表示真,指存在 $exists:0表示假,指不存在
更新集合中的文档,语法如下:
db.collection.update(criteria,objNew,upsert,multi)
criteria:用于设置查询条件的对象
objNew:用于设置更新内容的对象
upsert:如果记录已经存在,更新它,否则新增一个记录,取值为0或1
multi:如果有多个符合条件的记录,是否全部更新,取值为0或1 注意:默认情况下,只会更新第一个符合条件的记录 一般情况下后两个参数分别为0,1 ,即: db.collection.update(criteria,objNew,0,1)
更新集合中的文档,将集合中name为user1的文档改成name为jack
db.collection.update({name:"user1"},{name:"jack"})
更新集合中的文档, $set 用来指定一个键的值,如果这个键不存在,则创建它。例如: 给name为user1的文档添加address,可以使用命令:
db.c1.update({name:”user1”},{$set:{address:”bj”}},0,1) 将name为user1的文档修改address为tj,其它键值对不变,命令为:
db.c1.update({name:”user1”},{$set:{address:”tj”}},0,1)
更新集合中的文档,使用 $inc 将集合中name为user1的age加1,其它键不变, $inc表示使某个键值加减指定的数值
db.c1.update({name:”user1”},{$inc:{age:1}})
更新集合中的文档, $unset 用来删除某个键,例如删除name为user1的文档中的address键,可以使用命令:
db.c1.update({name:”user1”},{$unset:{address:1}},0,1)
索引
创建普通索引,使用命令 db.collection.ensureIndex({key:1})
创建唯一索引,使用命令 db.collection.ensureIndex({key:1},{unique:true})
查看关于索引的相关信息,使用命令 db.collection.stats()
查看查询使用索引的情况,使用命令 db.collection.find({key:value}).explain()
删除索引,使用命令 db.collection.dropIndex({key:1})
删除集合,也会将集合中的索引全部删除
固定集合(capped collection)
固定集合指的是事先创建而且大小固定的集合 。
固定集合特性:固定集合很像环形队列,如果空间不足,最早的文档就会被删除,为新的文档腾出空间。一般来说,固定集合适用于任何想要自动淘汰过期属性的场景,没有太多的操作限制。
创建固定集合使用命令:db.createCollection(“collectionName”,{capped:true,size:100000,max:100});
备份(mongodump)和恢复(mongorestore)
MongoDB提供了备份和恢复的功能,分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件
备份数据使用下面的命令:
>mongodump -h dbhost -d dbname -o dbdirectory
-h:MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017
-d:需要备份的数据库实例,例如:test
-o:备份的数据存放位置,例如:c:\data\dump,当然该目录需要提前建立,在备份完成后,系统自动在dump目录下建立一个test目录,这个目录里面存放该数据库实例的备份数据。
恢复数据使用下面的命令:
>mongorestore -h dbhost -d dbname -directoryperdb dbdirectory
-h:MongoDB所在服务器地址
-d:需要恢复的数据库实例,例如:test,当然这个名称也可以和备份时候的不一样,比如test2
-directoryperdb:备份数据所在位置,例如:c:\data\dump\test
导入(mongoimport)和导出(mongoexport)
导出数据可以使用命令:
mongoexport -h dbhost -d dbname -c collectionName -o output
参数说明:
-h 数据库地址
-d 指明使用的库
-c 指明要导出的集合
-o 指明要导出的文件名
导入数据可以使用命令:
mongoimport -h dbhost -d dbname -c collectionname 文件的地址...
参数说明:
-h 数据库地址
-d 指明使用的库
-c 指明要导入的集合
本地的文件地址...
安全和认证
每个MongoDB实例中的数据库都可以有许多用户。如果开启了安全性检查,则只有数据库认证用户才能执行读或者写操作。在认证的上下文中,MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。 在认证之后,管理员可以读写所有数据库,执行特定的管理命令,如listDatabases和shutdown。 在开启安全检查之前,一定要至少有一个管理员账号。
在admin数据库中创建管理员账号:
use admin; db.addUser(“root”,”root”);
在test数据库中创建普通账号:
use test; db.addUser(“zhangsan”,”123”); db.addUser(“lisi”,”123”,true);
注意:用户zhangsan,密码为123,对test数据库拥有读写权限 用户lisi,密码为123,对test数据库拥有只读权限
重新启动数据库服务,并开启安全检查: mongod --dbpath d:\mongo_data --auth
分片(sharding)分布式存储..
分片(sharding)是指将数据拆分,将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上,不需要功能强大的大型计算机就可以储存更多的数据,处理更多的负载。
MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面,每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据,甚至不需要知道数据已经被拆分了,所以在分片之前要运行一个路由进程,该进程名为mongos。这个路由器知道所有数据的存放位置,所以应用可以连接它来正常发送请求。对应用来说,它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系,能够转发请求到正确的片上。如果请求有了回应,路由器将其收集起来回送给应用。
设置分片时,需要从集合里面选一个键,用该键的值作为数据拆分的依据。这个键称为片键(shard key)。 {name:"zhangsan",age:1}
用个例子来说明这个过程:假设有个文档集合表示的是人员。如果选择名字("name")作为片键,第一片可能会存放名字以A~F开头的文档,第二片存的G~P的名字,第三片存的Q~Z的名字。随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内。
1、创建三个目录,分别存放两个mongod服务的数据文件和config服务的数据文件
2、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面,所以首先开启它,这里就使用2222端口。 命令为:
mongod --dbpath E:\sharding\config_node --port 2222
3、开启mongos服务器 。这里要注意的是我们开启的是mongos,端口3333,同时指定下config服务器。命令为:
mongos --port 3333 --configdb=127.0.0.1:2222
4、启动mongod服务器 。对分片来说,也就是要添加片了,这里开启两个mongod服务,端口分别为:4444,5555。命令为:
mongod --dbpath E:\sharding\mongod_node1 --port 4444 mongod --dbpath E:\sharding\mongod_node2 --port 5555
5、服务配置 。client直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将4444,5555的mongod交给mongos,添加分片也就是addshard()。
6、开启数据库分片功能,命令很简单 enablesharding(),这里就开启test数据库。
7、指定集合中分片的片键,这里就指定为person.name键。
8、通过mongos插入10w记录,然后通过printShardingStatus命令查看mongodb的数据分片情况。
使用java操作MongoDB
下载mongoDB对Java支持的驱动包 驱动包下载地址:https://github.com/mongodb/mongo-java-driver/downloads
1、查询集合中所有文档
2、删除集合中的文档
3、向集合中插入文档
4、更新集合中的文档