GridFS是MongoDB的二进制数据存储在数据库中的解决方案,用来处理大文件。GridFS不是MongoDB自身特性,MongoDB没有实现它的代码,GridFS只是一种将大型文件存储在MongoDB的文件规范,所有官方支持的驱动均实现了GridFS规范。GridFS只是制定大文件在数据库中如何处理,是通过开发语言驱动来完成和通过API接口来存储检索大文件。按照设计,MongoDB文档(BSON对象)不能超过16M,这是为了使性能保持在最高水平。如果文档超过16M,当查询时将占用大量的内存。GridFS指定了将一个大文件分割成多个文档的机制。通过开发语言扩展来实现,例如java扩展,在存储时,分块存储,在检索时,合并分块。开发人员无需知道内部细节,存储和处理文件是一个透明高效的方式。
GridFS存储在两个独立的集合中:文件和块。GridFS将文件分成大块,将每个大块存储为单独的文件.GridFS中限制chunk最大为256k。GridFS使用两个文档来存储文件,一个用来存储文件本身的块,另外一个用来存储分块的信息和文件的元数据,默认对应的集合分别为fs.chunks和fs.files.

Chunks集合:


{
"_id" : ObjectId("4f4608844f9b855c6c35e299"),    //chunk的id
"files_id" : ObjectId("4f4608844f9b855c6c35e298"),  //文件的id,对应fs.files中的对象,相当于fs.files集合的外键
"n" : 0,     //文件的第几个chunk块,如果文件大于chunksize的话,会被分割成多个chunk块
"data" : BinData(0,"QGV...")     //文件的二进制数据,这里省略了具体内容
}

块集合中文档包含以下属性:chunk_id:块ID。Chunks.files_id:对应files集合中文档的_id。Chunks.n:块的编号,由GridFS管理,从0开始。Chunks.data:文件数据,是BSON二进制类型。


Chunks集合使用files_id和n作为混合索引,files集合:

{
"_id" : ObjectId("4f4608844f9b855c6c35e298"),       //唯一id,可以是用户自定义的类型
"filename" : "CPU.txt",      //文件名
"length" : 778,      //文件长度
"chunkSize" : 262144,    //chunk的大小
"uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上传时间
"md5" : "e2c789b036cfb3b848ae39a24e795ca6",      //文件的md5值
"contentType" : "text/plain"     //文件的MIME类型
"meta" : null    //文件的其它信息,默认是没有”meta”这个key,用户可以自己定义为任意BSON对象
}

Files集合中的文档包含以下属性,应用还可以创建额外任意的属性:files_id:唯一的文件表示。MongoDB的默认值是BOSN ObjectID。 Files.length: 文件的字节数大小。Files.chunkSize:每个块的大小,默认为256KB,GridFS根据这个值将文件分成多个快,files.uploadDate:GridFS第一次存储此文件的时间,类型为ISODate。Files.md5:文件的md5散列值,是字符串。 Files.filename:可选。人类可读的文件名。Files.contentType:可选。合法的文件MIME类型。Files.aliases:可选。别名的字符串数组。Files.metadata:可选。自定义存储的文件元数据。

可以通过mongofiles工具或者MongoDB驱动程序来使用GridFS,GridFS主要提供5种操作接口:


List:获取文件列表

Get:获取文件

Put:写入文件

Search:根据文件名搜索文件

Delete:删除文件

对比传统文件系统的优势
分布式:GridFS是基于MongoDB的分布式文件系统,可以直接使用MongoDB Replication和Sharding机制,数据可靠性和水平扩展性都得到保证。GridFS不产生磁盘碎片,因为MongoDB分配数据文件空间时以2GB为一块。
MapReduce:可以进行复杂管理和查询分析。
索引和缓存:元数据存储在MongoDB中,非常方便索引,并且可以对文件和文件元数据进行索引,能提高系统效率。
Checksum: GridFS会为文件产生散列值,可用于校验文件以检查完整性。
开发者友好:利用Grid可以简化需求,减小开发成本。要是已经用了MongoDB,GridFS就可以不需要使用独立文件存储架构,并且使代码和数据真正分离,方便管理。
其他: GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题。例如,GridFS在同一个目录下防止大量的文件是没有任何问题的。GridFS不产生磁盘碎片,因为MongoDB分配数据文件空间时以2GB为一块。

使用场景
1) 有大量的上传图片(用户上传或者系统本身的文件发布等)
2) 文件的量级处于飞速增长,有可能打到单机操作系统自己的文件系统的查询性能瓶颈,甚至超过单机硬盘的扩容范围.
3) 文件的备份(不适用gridfs这种三方也可以做,但是不尽方便),文件系统访问的故障转移和修复..
4) 文件的索引,存储除文件本身以外还需要关联更多的元数据信息(比如,不仅仅存储文件,还要保存一些文件的发布式作者/发布时间/文件tag属性等等自定义信息)并且需要索引的...
5) 基于4),对文件的分类模糊,如果采用操作系统的文件系统,文件夹分类关系混乱或者无法分类时..
6) 当前系统是基于web的,对图片的访问根据url了规则路由的..(普通文件系统也可以)
7) 文件尺寸较小,而且众多,且文件有可能被迁移/删除等..

在Mongodb中以GridFSB方式存放文件有两种方式
1、命令行方式mongofiles

mongofiles命令行下向Mongodb数据库中插入文件数据。
mongofiles  -host 127.0.0.1:27017 -d  mydb  put  文件名
向数据库mydb中插入一个文件,其中put为命令,表示向Mongodb中上传文件,get、delete分别表示取得文件和删除文件。
mongo自带有一个实现mongofliles,基本操作如下:
列出所有文件:
mongofiles list
上传一个文件:
mongofiles put xxx.txt
下载一个文件:
mongofiles get xxx.txt
查找文件:
mongofiles search xxx //会查找所有文件名中包含“xxx”的文件
mongofiles list xxx //会查找所有文件名以“xxx”为前缀的文件
参数说明:
–d 指定数据库 ,默认是fs,Mongofiles list –d testGridfs
-u –p 指定用户名,密码
-h 指定主机
-port 指定主机端口
-c 指定集合名,默认是fs
-t 指定文件的MIME类型,默认会忽略

2、使用API来存取文件
基于java的存取请参考下一节文章。