1.FastDFS 安装tar xzvf FastDFS-v3.11.tar.gzcd FastDFS./make.sh./make.sh install安装后的配置文件在/etc/fdfs/安装后的bin文件在/usr/local/bin/安装后的启动文件在/etc/init.d/安装后先确定是做tracker服务器还是storage服务器如果做tracker服务器 请修改配置文件/etc/fd
翻译
精选
2013-04-25 16:46:48
1912阅读
在项目的数据存储中，结构化数据通常采用关系型数据库，非结构化数据（文件）的存储就有很多种方式，服务器本地存储、Nas挂载、ftp等等，今天就来盘点一下，分布式文件存储系统。
原创
2022-02-11 10:24:43
417阅读
在项目的数据存储中，结构化数据通常采用关系型数据库，非结构化数据（文件）的存储就有很多种方式，服务器本地存储、Nas挂载、ftp等等，今天就来盘点一下，分布式文件存储系统。
原创
2021-12-29 14:26:37
138阅读
单机版启动
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server --console-address ":9001&
1、GlusterFS安装本博文讲简要介绍GlusterFS在CentOS 7 中的部署和应用。由于GlusterFS需要使用网络，因此还必须事先根据环境设置防火墙规则，关闭SELinux。因为GlusterFS至少需要两台服务器搭建，所以我们这里使用两台服务器作为示例，服务器配置最好相同，每个服务器两块磁盘，一块是用于安装系统，一块是用于GlusterFS。服务器IP主机名系统server119
原创
2022-06-29 12:57:04
172阅读
GlusterFS概述GlusterFS简介•开源的分布式文件系统•由存储服务器，客户端以及NFS/Samba存储网关组成•无元数据服务器RDMA:负责数据传输GlusterFS的特点•扩展性和高性能•高可用性•全局统一的命名空间•弹性卷管理•基于标准协议GlusterFS术语•Brick：存储节点•Volume：卷•FUSE：内核模块，用户端的交互模块•VFS：虚拟端口•Glusterd：服务模
原创
2019-12-26 08:34:11
1907阅读
实验环境#开启5台虚拟机（centos7），四条节点服务器分别添加四块硬盘node1：192.168.52.149node2：192.168.52.132node3：192.168.52.128node4：192.168.52.135client：192.168.52.133#分别设置虚拟机名称，方便识别hostnamectlset-hostnamenode1hostnamectlset-host
原创
2019-12-26 16:27:56
2188阅读
概述对于MongoDB的存储基本单元BSON文档对象，字段值可以是二进制类型，基于此特点，我们可以直接在MongoDB中存储文件，但是有一个限制，由于MongoDB中单个BSON对象不能大于16MB，故而如果需要存储更大的文件，就需要GridFS了。小文件存储系统与GridFS文件存储我们先看下MongoDB存储小文件系统的例子：先采用MongoDB的mongofiles执行文件上传：D:\Mon
TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TDSS提供了良好的读写性能。
主要特性
1.全局单副
原创
2013-04-07 13:44:19
510阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
转载
2014-11-05 21:23:00
66阅读
Ceph分布式存储系统Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比
原创
2016-04-07 18:19:31
10000+阅读
点赞
分布式文件系统GlusterfsGluster File System 是自由软件，主要由 Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。1.1系统环境准备三
翻译
2017-05-12 09:51:50
1254阅读
Cassandra是facebook开源出来的一个版本，可以认为是BigTable的一个开源版本，
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件夹，集合到一个文件夹内(虚拟共享文件夹)。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户
原创
2018-08-06 01:52:15
928阅读
点赞
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下： 以下，我们将从架构、模块等几个方面来介绍下： 一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实现负载均衡；节点故障时，数据可自己主动恢复；直接支持QEMU/KVM应用； 二、模块如上图：由c
转载
2014-11-03 21:05:00
58阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为
转载
2014-07-27 20:58:00
42阅读
HDFS：分布式文件系统HDFS概述在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，需要将数据集进行分区（partition）并存储到若干台独立自治计算机中。但是分区存储的数据不方便管理和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统（distribute filesystem）。分布式文件系统是一种允许文件通过网络在多台主机上分享的 文件的系统
