TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TDSS提供了良好的读写性能。  主要特性 1.全局单副
原创 2013-04-07 13:44:19
510阅读
...
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备。其架构例如以下:以下,我们将从架构、模块等几个方面来介绍下:一、架构图如上图:採用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实...
基本介绍概念安装部署方式FastDFS-Java客户端dependency并没有放置在 maven 仓库;其
原创 10月前
152阅读
Ceph分布式存储系统Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统,其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是“Sammy”,一个香蕉色的蛞蝓,就是头足类中无壳的软体动物。这些有多触角的头足类动物,是对一个分布式文件系统高度并行的形象比
原创 2016-04-07 18:19:31
10000+阅读
2点赞
分布式文件系统GlusterfsGluster File System 是自由软件,主要由 Z RESEARCH 公司负责开发,十几名开发者,最近非常活跃。主要应用在集群系统中,具有很好的可扩展性。软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题:网络存储,联合存储(融合多个节点上的存储空间),冗余备份,大文件的负载均衡(分块)。1.1系统环境准备三
翻译 2017-05-12 09:51:50
1254阅读
Cassandra是facebook开源出来的一个版本,可以认为是BigTable的一个开源版本,
原创 10月前
201阅读
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备。其架构例如以下: 以下,我们将从架构、模块等几个方面来介绍下: 一、架构图如上图:採用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实现负载均衡;节点故障时,数据可自己主动恢复;直接支持QEMU/KVM应用; 二、模块如上图:由c
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。简单来说,就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹时,只要打开这个虚拟共享文件夹,就可以看到所有链接到虚拟共享文件夹内的共享文件夹,用户
原创 2018-08-06 01:52:15
928阅读
2点赞
1.FastDFS 安装tar xzvf FastDFS-v3.11.tar.gzcd FastDFS./make.sh./make.sh install安装后的配置文件在/etc/fdfs/安装后的bin文件在/usr/local/bin/安装后的启动文件在/etc/init.d/安装后先确定是做tracker服务器还是storage服务器如果做tracker服务器 请修改配置文件/etc/fd
翻译 精选 2013-04-25 16:46:48
1912阅读
分布式原理分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的优点是集中访问、简化操作、数据容灾,以及提高了文件的存取性能。MFS分布式文件系统MFS是一种半分布式文件系统,它是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展。MFS原理MFS是一个具有容
原创 2018-07-29 17:33:46
6307阅读
3点赞
在项目的数据存储中,结构化数据通常采用关系型数据库,非结构化数据(文件)的存储就有很多种方式,服务器本地存储、Nas挂载、ftp等等,今天就来盘点一下,分布式文件存储系统
1. Ceph存储系统概述Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能,它可靠性高、管理简便、并且是自由软件。 Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据。 Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点, Ceph 存储集群组织起了大量节点,它们之间靠相互通讯来复制数据
原创 2021-06-10 11:15:47
387阅读
MFS是linux下的开源存储系统,它是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够节约存储成本,而且不逊色于专业的存储系统,更重要的是它能够实现在线扩展,MFS是一种半分布式文件系统。MFS的网络组成有三个部分:MASTER SERVER,CHUNK SERVER 和CLIENT其中master server 只有一个 chunk server 和client可以由多个MFS的
MFS
原创 2013-05-11 08:19:38
545阅读
MFS的编译与安装假设元数据服务器的IP地址为192.168.1.993个MFS客户端的IP地址为192.168.1.111  192.168.1.122  192.168.1.1331.安装和配置元数据服务器先下载源码wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11.mfs-1.6.11.tar
原创 2013-05-11 09:36:15
493阅读
下面继续对mfsexports.cfg文件进行配置cp mfsexports.cfg.dist mfsexports.cfgvi mfsexports.cfg#*                 /     ro#192.168.1.0/24    /    
原创 2013-05-11 11:50:07
468阅读
MFS客户端的安装及配置由于MFS客户端依赖于fuse,所以要先安装fuse1.下载源码wget http://cdnetworks-kr-1.dl.sourceforge.net/project/fuse/fuse-2.x/2.8.1/fuse-2.8.1.tar.gz 2.解压源码tar -xvf fuse-2.8.1.tar.gzcd fuse-2.8.13.配置与安装./configure
原创 2013-05-11 14:45:40
607阅读
第1章 GlusterFS分布式文件系统使用介绍1.1 Glusterfs概述GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布存储资源聚集在一起,使用单一全局命名空间来管理数据。Gluster
原创 精选 2018-07-08 11:18:22
5504阅读
2点赞
  • 1
  • 2
  • 3
  • 4
  • 5