基于Mongodb的file server
最近在抱怨公司的file server,现有的file server通过服务器提供接口,将文件保存到服务器硬盘,按照ID分文件。通过定期备份到其它服务器,运行了这么久出现过一次事故,硬盘被同事格式化导致丢失了一部分数据。因此考虑如果重新设计file server我会怎么做,于是考虑使用Mongodb来设计,进行分布式同步。
使用Mongodb好处:
1.备份,维护简单
2.可以使用Mongodb的分布式同步数据,就算一台服务器挂了,fileserver也不会挂
3.速度会比较快(我猜)
file server 结构:
1. 使用webservice提供添加,删除,获取文件的接口,mongodb只保存文件内容
2. 将文件保存到Mongodb数据库
3. 存储文件由三个Mongodb数据库服务器组成,一个为Arbiter服务器,另外两个互为主从服务器
Mongodb服务器环境搭建:
1.下载最新版的mongodb for windows程序 http://www.mongodb.org/downloads
2.解压缩文件,重名名文件夹为mongodb,在mongodb文件夹下新建data,log文件夹,并复制两份为d:\mongodb2,d:\mongodb3
3.配置mongodb 1
在cmd命令定位到mongodb/bin文件夹,敲入下面命令启动mongodb:
D:\mongodb\bin>mongod --rest --replSet myset --port 20720 --dbpath d:\mongodb\data --logpath d:\mongodb\log
--replSet myset 指定mongodb运行为replication模式,集合名为myset
--rest 用于启动adminstration ui,可以通过http://localhost:28017/_replSet查看服务器状态
--dbpath 指定数据库文件路径
--logpath 指定日志文件路径
4.配置Mongodb 2
配置方法同mongodb 1,只是端口改为20721
D:\mongodb2\bin>mongod --rest --replSet myset --port 20721 --dbpath d:\mongodb2\data --logpath d:\mongodb\log
5.配置Mongodb 3
配置命令如下:
D:\mongodb2\bin>mongod --rest --replSet myset --oplogSize 8 --port 20722 --dbpath d:\mongodb3\data
具体解析查看http://www.mongodb.org/download/attachments/9830402/mongodb+replica+sets+intro.pdf
现在三台mongodb服务器都启动了,哦也,现在需要告诉Mongodb 1他的同伴Mongodb 2,具体命令如下:
D:\mongodb\bin>mongo --host ChrisCheung_PC//这里是我的计算机名,也可以是127.0.0.1
首先执行
>rs.initiate()
>rs.add("ChrisCheung_PC:20721") //如果不知道计算机名可以用rs.conf()看到
{ "ok" : 1 }
这样就讲20721端口的mongodb添加到myset中,执行rs.conf()可查看相应信息。
接下来还要把Mongdb 3添加到组中,同意是在mongodb 1执行:
>rs.add( {_id:2, host:"ChrisCheung-PC:20722",arbiterOnly:true})
{ "ok" : 1 }
如果host打错会报下列错误:
{
"assertion" : "need most members up to reconfigure, not ok : ChrisCheung
-PC:20721",
"assertionCode" : 13144,
"errmsg" : "db assertion failure",
"ok" : 0
}
到目前位置我们已经有三台正常运行mongodb服务器,并配置为Replica Sets同步模式。
程序实现,下面是我写的一个简单类
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using MongoDB.Driver;
using MongoDB.Driver.Builders;
using MongoDB.Bson;
namespace FileUtility
{
public class DocHelper
{
private string connStr = "";
public string ConnStr
{
get
{
if (string.IsNullOrEmpty(connStr))
{
throw new ArgumentNullException("Connection string did not specify!");
}
return connStr;
}
}
public DocHelper()
{
connStr = System.Configuration.ConfigurationManager.AppSettings["FileDb"];
}
public DocHelper(string connectionString)
{
this.connStr = connectionString;
}
/// <summary>
/// save document conent
/// </summary>
/// <param name="content">file content</param>
/// <returns>file id in mongodb database</returns>
public string AddDoc(byte[] content)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
Doc doc = new Doc() { ID = Guid.NewGuid().ToString(), data = content };
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles",SafeMode.True);
docs.Insert(doc);
return doc.ID.ToString();
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
/// <summary>
/// delete doc from the mongodb server
/// </summary>
public void DeleteDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);
var queryDoc = Query.EQ("_id", docID);
docs.Remove(queryDoc);
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
/// <summary>
/// get the doc content from mongodb
/// </summary>
/// <param name="docID">doc id in mongodb</param>
/// <returns>document content</returns>
public Doc GetDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);
Doc doc = docs.FindOneById(docID);
return doc;
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
}
}
实体类:
using System;
using System.Collections.Generic;
using System.Text;
using MongoDB.Bson.DefaultSerializer;
using MongoDB.Bson;
namespace FileUtility
{
public class Doc
{
[BsonId]
public string ID { get; set; }
public byte[] data { get; set; }
}
}
测试代码:
代码
FileUtility.DocHelper helper =new FileUtility.cHelper("mongodb://localhost:20720");
byte[] bytes = File.ReadAllBytes("E:\\photo\\20110101-ski\\DSCN1621.JPG");
string id = helper.AddDoc(bytes);
FileUtility.Doc doc = helper.GetDoc(id);
File.WriteAllBytes("d:\\image.jpg", doc.data);
插入一张图片后,到http://localhost:28017/_replSet optime列的链接查看数据库的日志,可以看出两台服务器都插入了同样的记录,如下图:
好啦,一个简单的file server 就酱搭建起来了。简单插入一些数据,感觉mongodb暂用蛮大的硬盘空间,大家对file server有什么好的建议呢?欢迎拍砖,谢谢。