NoSql简介

NoSQL(Not Only SQL ),意即“不仅仅是SQL” ,指的是非关系型的数据库 。是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。 关系型数据库中的表都是存储一些结构化的数据,每条记录的字段的组成都一样,即使不是每条记录都需要所有的字段,但数据库会为每条数据分配所有的字段。而非关系型数据库以键值对(key-value)存储,它的结构不固定,每一条记录可以有不一样的键,每条记录可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销。

常见的NoSql(非关系型数据库)数据库

 

键值(Key-Value)存储数据库 
* Riak:一个开源、分布式键值数据库,支持数据复制和容错 
* Redis:一个开源的键值存储数据库,支持主从式复制、事务,Pub/Sub、Lua脚本,还支持给Key添加时限 
* Dynamo:一个键值分布式存储数据库,直接由亚马逊Dynamo数据库实现 
* Oracle NoSQL Database:来自Oracle的键值NoSQL数据库,支持事务ACID和JSON 
* Oracle NoSQL Database:具备数据备份和分布式键值存储系统 
* Voldemort:具备数据备份和分布式键值存储系统 
* Aerospike:一个键值存储数据库,支持混合内存架构,通过强一致性和可调一致性保证数据的完整性

 

列存储数据库 
* Cassandra:支持跨数据中心的数据复制,提供列索引 
* HBase:一个开源、分布式、面向列存储的模型 
* Amazon SimpleDB:一个非关系型数据存储 
* Apache Accumulo:有序的、分布式键值数据存储,基于Google的BigTable设计 
* Hypertable:一个开源、可扩展的数据库,模仿Bigtable,支持分片 
* Azure Tables:为要求大量非结构化数据存储的应用提供NoSQL性能

 

文档型数据库 
* MongoDB:开源、面向文档 
* CounchDB:一个使用JSON的文档数据库,使用Javascript做MapReduce查询,也是一个使用HTTP的API 
* Couchbase:基于JSON模型 
* RavenDB:一个基于.net语言的面向文档数据库 
* MarkLogic:用来存储基于XML和以文档为中心的信息,支持灵活的模式

 

图形(Graph)数据库 
* Neo4j:一个图数据库,支持ACID事务 
* InfiniteGraph:用来维持和遍历对象间的关系,支持分布式数据存储 
* AllegroGraph:结合使用了内存和磁盘,提供了高可扩展性,支持SPARQ、RDFS++和Prolog推理

 

NoSql数据库优缺点

  在优势方面主要体现在下面几点:

         简单的扩展

        快速的读写

        低廉的成本

        灵活的数据模型

  在不足方面主要有下面几点:

      不提供对SQL的支持   

      支持的特性不够丰富

       现有的产品不够成熟

 

MongoDB简介

  MongoDB是用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用,存储数据十分方便,主要特性有: 
  面向集合存储,易于存储对象类型的数据 
  模式自由 
  支持动态查询 
  支持完全索引,包含内部对象 
  支持复制和故障恢复 
  使用高效的二进制数据存储,包括大型对象 
  文件存储格式为BSON(一种JSON的扩展)

MongoDB和关系数据库的对比

对比项

mongoDB

mysql oracle


集合

二维表table

表的一行数据

文档document

一条记录recoder

表字段

键key

字段filed

字段值

值value

值value

主外键


PK FK

灵活度扩展性

极高


MongoDB基本概念

  • 文档(document)是MongoDB中数据的基本单元,非常类似于关系型数据库系统中的行(但是比行要复杂的多)。
  • 集合(collection)就是一组文档,如果说MongoDB中的文档类似于关系型数据库中的行,那么集合就如同表。
  • MongoDB的单个计算机可以容纳多个独立的数据库,每一个数据库都有自己的集合和权限。
  • MongoDB自带简洁但功能强大的JavaScript shell,这个工具对于管理MongoDB实例和操作数据作用非常大。
  • 每一个文档都有一个特殊的键”_id”,它在文档所处的集合中是唯一的,相当于关系数据库中的表的主键。

MongoDB数据类型

数据类型

描述

举例

null

表示空值或者未定义的对象

{“x”:null}

布尔值

真或者假:true或者false

{“x”:true}

32位整数

32位整数。shell是不支持该类型的,shell中默认会转换成64位浮点数

 

64位整数

64位整数。shell是不支持该类型的,shell中默认会转换成64位浮点数

 

64位浮点数

64位浮点数。shell中的数字就是这一种类型

{“x”:3.14,”y”:3}

字符串

UTF-8字符串

{“foo”:”bar”}

符号

shell不支持,shell会将数据库中的符号类型的数据自动转换成字符串

 

对象id

文档的12字节的唯一id

{“id”: ObjectId()}

日期

从标准纪元开始的毫秒数

{“date”:new Date()}

正则表达式

文档中可以包含正则表达式,遵循JavaScript的语法

{“foo”:/foobar/i}

代码

文档中可以包含JavaScript代码

{“x”:function() {}}

未定义

undefined

{“x”:undefined}

数组

值的集合或者列表

{“arr”: [“a”,”b”]}

内嵌文档

文档可以作为文档中某个key的value

{“x”:{“foo”:”bar”}}

MongoDB使用

MongoDB的安装非常简单,只需要将下载的MongoDB的压缩文件解压到任意目录,并将其中的bin目录加入到系统的path环境变量中即可

在启动MongoDB之前,要手动创建一个存放MongoDB数据文件的目录,如D:\mongo_data 在命令行执行 mongod --dbpath=D:\mongo_data

在命令行中可以使用mongo命令连接到MongoDB服务器,如下,输入mongo命令默认连接到本地的名称为test的数据库,如果希望连接到远程数据库,可以使用mongo ip:port

创建数据库,使用命令 use 数据库名称

删除当前数据库,使用命令 db.dropDatabase()

MongoDB常用操作

查看所有数据库,使用命令 show dbs

查看当前所在数据库,使用命令 db

show collections 或使用show tables

创建集合有两种方式,显示创建和隐式创建

db.createCollection(“集合名称")

db.集合名称.insert({}),指创建集合并同时向集合中插入数据,例如:db.customer.insert({name:”jack”})

db.集合名称.insert({}),例如: db.user1.insert({name:”jack”,age:20})

db.集合名称.remove({删除条件}),不加删除条件为删除集合中的所有文档,例如,db.c1.remove() 为删除c1集合中的所有文档,db.c1.remove({name:”user1”})为删除c1集合中name为user1的文档  

db.集合名称.find({条件}),或者使用 db.集合名称.findOne()

  查询集合中的文档 ,使用条件表达式(<, <=, >, >=,!=)   

    //大于: field > value   db.collection.find({field:{$gt:value}});

    //小于: field < value   db.collection.find({field:{$lt:value}});

    //大于等于: field >= value   db.collection.find({field:{$gte:value}});

    //小于等于: field <= value   db.collection.find({field:{$lte:value}});

     //不等于: field != value   db.collection.find({field:{$ne:value}});

  查询集合中的文档 ,统计(count)、排序(sort)、分页(skip、limit)

    db.customer.count();

    db.customer.find().count();

    db.customer.find({age:{$lt:5}}).count();

    db.customer.find().sort({age:1});降序-1

    db.customer.find().skip(2).limit(3);

    db.customer.find().sort({age:-1}).skip(2).limit(3);

    db.customer.find().sort({age:-1}).skip(2).limit(3).count();

    db.customer.find().sort({age:-1}).skip(2).limit(3).count(0);

    db.customer.find().sort({age:-1}).skip(2).limit(3).count(1);

  查询集合中的文档 ,$all主要用来查询数组中的包含关系,查询条件中只要有一个不包含就不返回

    db.customer.find({post:{$all:[1,2]}})

  查询集合中的文档 ,$in,类似于关系型数据库中的IN

    db.customer.find({age:{$in:[1,2]}})

  查询集合中的文档 ,$nin,与$in相反

  查询集合中的文档 ,$or,相当于关系型数据库中的OR,表示或者的关系,例如查询name为user2或者age为3的文档,命令为: db.customer.find({$or:[{name:”user2”},{age:3}]})

  查询集合中的文档 ,$exists,用于查询集合中存在某个键的文档或不存在某个键的文档,例如查询customer集合中存在name键的所有文档,可以使用 db.customer.find({name:{$exists:1}}),

    $exists:1表示真,指存在 $exists:0表示假,指不存在

  更新集合中的文档,语法如下:

db.collection.update(criteria,objNew,upsert,multi)

      criteria:用于设置查询条件的对象

      objNew:用于设置更新内容的对象

      upsert:如果记录已经存在,更新它,否则新增一个记录,取值为0或1

      multi:如果有多个符合条件的记录,是否全部更新,取值为0或1 注意:默认情况下,只会更新第一个符合条件的记录 一般情况下后两个参数分别为0,1 ,即:                      db.collection.update(criteria,objNew,0,1)  

  更新集合中的文档,将集合中name为user1的文档改成name为jack

    db.collection.update({name:"user1"},{name:"jack"})

  更新集合中的文档, $set 用来指定一个键的值,如果这个键不存在,则创建它。例如: 给name为user1的文档添加address,可以使用命令:

    db.c1.update({name:”user1”},{$set:{address:”bj”}},0,1) 将name为user1的文档修改address为tj,其它键值对不变,命令为:

    db.c1.update({name:”user1”},{$set:{address:”tj”}},0,1)

  更新集合中的文档,使用 $inc 将集合中name为user1的age加1,其它键不变, $inc表示使某个键值加减指定的数值

    db.c1.update({name:”user1”},{$inc:{age:1}})

  更新集合中的文档, $unset 用来删除某个键,例如删除name为user1的文档中的address键,可以使用命令:

    db.c1.update({name:”user1”},{$unset:{address:1}},0,1)

 

索引 

  创建普通索引,使用命令 db.collection.ensureIndex({key:1})   

  创建唯一索引,使用命令 db.collection.ensureIndex({key:1},{unique:true})

  查看关于索引的相关信息,使用命令 db.collection.stats()

   查看查询使用索引的情况,使用命令 db.collection.find({key:value}).explain()

  删除索引,使用命令 db.collection.dropIndex({key:1})

  删除集合,也会将集合中的索引全部删除

固定集合(capped collection) 

  固定集合指的是事先创建而且大小固定的集合 。

  固定集合特性:固定集合很像环形队列,如果空间不足,最早的文档就会被删除,为新的文档腾出空间。一般来说,固定集合适用于任何想要自动淘汰过期属性的场景,没有太多的操作限制。

  创建固定集合使用命令:db.createCollection(“collectionName”,{capped:true,size:100000,max:100});

备份(mongodump)和恢复(mongorestore)

  MongoDB提供了备份和恢复的功能,分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件

  备份数据使用下面的命令:

    >mongodump -h dbhost -d dbname -o dbdirectory

    -h:MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017

    -d:需要备份的数据库实例,例如:test

    -o:备份的数据存放位置,例如:c:\data\dump,当然该目录需要提前建立,在备份完成后,系统自动在dump目录下建立一个test目录,这个目录里面存放该数据库实例的备份数据。

  恢复数据使用下面的命令:

    >mongorestore -h dbhost -d dbname -directoryperdb dbdirectory

      -h:MongoDB所在服务器地址

      -d:需要恢复的数据库实例,例如:test,当然这个名称也可以和备份时候的不一样,比如test2

      -directoryperdb:备份数据所在位置,例如:c:\data\dump\test

导入(mongoimport)和导出(mongoexport)

 

  导出数据可以使用命令:

    mongoexport -h dbhost -d dbname -c collectionName -o output

      参数说明:

        -h 数据库地址   

        -d 指明使用的库

        -c 指明要导出的集合

        -o 指明要导出的文件名

  导入数据可以使用命令:

    mongoimport -h dbhost -d dbname -c collectionname 文件的地址...

     参数说明:

      -h 数据库地址

      -d 指明使用的库   

      -c 指明要导入的集合

      本地的文件地址...

 

安全和认证

 

    每个MongoDB实例中的数据库都可以有许多用户。如果开启了安全性检查,则只有数据库认证用户才能执行读或者写操作。在认证的上下文中,MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。 在认证之后,管理员可以读写所有数据库,执行特定的管理命令,如listDatabases和shutdown。 在开启安全检查之前,一定要至少有一个管理员账号。

  在admin数据库中创建管理员账号:

    use admin; db.addUser(“root”,”root”);

  在test数据库中创建普通账号:

     use test; db.addUser(“zhangsan”,”123”); db.addUser(“lisi”,”123”,true);

      注意:用户zhangsan,密码为123,对test数据库拥有读写权限 用户lisi,密码为123,对test数据库拥有只读权限

  重新启动数据库服务,并开启安全检查: mongod --dbpath d:\mongo_data --auth

 

分片(sharding)分布式存储..

 

    分片(sharding)是指将数据拆分,将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上,不需要功能强大的大型计算机就可以储存更多的数据,处理更多的负载。

    MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面,每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据,甚至不需要知道数据已经被拆分了,所以在分片之前要运行一个路由进程,该进程名为mongos。这个路由器知道所有数据的存放位置,所以应用可以连接它来正常发送请求。对应用来说,它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系,能够转发请求到正确的片上。如果请求有了回应,路由器将其收集起来回送给应用。

    设置分片时,需要从集合里面选一个键,用该键的值作为数据拆分的依据。这个键称为片键(shard key)。 {name:"zhangsan",age:1}

    用个例子来说明这个过程:假设有个文档集合表示的是人员。如果选择名字("name")作为片键,第一片可能会存放名字以A~F开头的文档,第二片存的G~P的名字,第三片存的Q~Z的名字。随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内。

                      

nosql manager for mongodb 安装 nosql manager for mongodb 使用_javascript

    1、创建三个目录,分别存放两个mongod服务的数据文件和config服务的数据文件

    2、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面,所以首先开启它,这里就使用2222端口。 命令为:

       mongod --dbpath E:\sharding\config_node --port 2222

    3、开启mongos服务器 。这里要注意的是我们开启的是mongos,端口3333,同时指定下config服务器。命令为:

      mongos --port 3333 --configdb=127.0.0.1:2222

    4、启动mongod服务器 。对分片来说,也就是要添加片了,这里开启两个mongod服务,端口分别为:4444,5555。命令为:

      mongod --dbpath E:\sharding\mongod_node1 --port 4444 mongod --dbpath E:\sharding\mongod_node2 --port 5555

    5、服务配置 。client直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将4444,5555的mongod交给mongos,添加分片也就是addshard()。

    6、开启数据库分片功能,命令很简单 enablesharding(),这里就开启test数据库。

    7、指定集合中分片的片键,这里就指定为person.name键。

    8、通过mongos插入10w记录,然后通过printShardingStatus命令查看mongodb的数据分片情况。

 

使用java操作MongoDB

 

    下载mongoDB对Java支持的驱动包 驱动包下载地址:https://github.com/mongodb/mongo-java-driver/downloads

    1、查询集合中所有文档

       

nosql manager for mongodb 安装 nosql manager for mongodb 使用_ViewUI_02

    2、删除集合中的文档

       

nosql manager for mongodb 安装 nosql manager for mongodb 使用_数据库_03

    3、向集合中插入文档

      

nosql manager for mongodb 安装 nosql manager for mongodb 使用_json_04

    4、更新集合中的文档

      

nosql manager for mongodb 安装 nosql manager for mongodb 使用_javascript_05