HDFS：分布式文件系统HDFS概述在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，需要将数据集进行分区（partition）并存储到若干台独立自治计算机中。但是分区存储的数据不方便管理和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统（distribute filesystem）。分布式文件系统是一种允许文件通过网络在多台主机上分享的 文件的系统
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件夹，集合到一个文件夹内(虚拟共享文件夹)。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户
原创
2018-08-06 01:52:15
928阅读
点赞
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下： 以下，我们将从架构、模块等几个方面来介绍下： 一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实现负载均衡；节点故障时，数据可自己主动恢复；直接支持QEMU/KVM应用； 二、模块如上图：由c
转载
2014-11-03 21:05:00
58阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为
转载
2014-07-27 20:58:00
42阅读
Ceph分布式存储系统Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比
原创
2016-04-07 18:19:31
10000+阅读
点赞
分布式文件系统GlusterfsGluster File System 是自由软件，主要由 Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。1.1系统环境准备三
翻译
2017-05-12 09:51:50
1254阅读
Cassandra是facebook开源出来的一个版本，可以认为是BigTable的一个开源版本，
TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TDSS提供了良好的读写性能。
主要特性
1.全局单副
原创
2013-04-07 13:44:19
510阅读
...
转载
2014-10-22 19:49:00
93阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
转载
2014-11-05 21:23:00
66阅读
基本介绍概念安装部署方式FastDFS-Java客户端dependency并没有放置在 maven 仓库；其
配置元数据日志服务器MFS安装完成后，默认的配置文件位于/usr/local/mfs/etc目录下，该服务只有一个配置文件，即mfsmetalogger.cfg。该文件内容如下：cp mfsmetalogger.cfg.dist mfsmetalogger.cfgvi mfsmetalogger.cfg# WORKING_USER = mfs# WORKING_GROUP = mfs# SYSLO
原创
2013-05-11 12:08:19
567阅读
安装配置数据存储服务器配置文件位于安装目录的/usr/local/mfs/etc下。需要用到的配置文件有两个：mfschunkserver.cfg 和 mfshdd.cfg mfschunkserver.cfg是主配置文件； mfshdd.cfg配置文件时用来指定服务器分配给MFS使用的空间，这个空间最好是一个单独的硬盘或者一个RAID卷，至少是一个磁盘分区。mfschunkserver.cfg中
原创
2013-05-11 14:28:34
2835阅读
在项目的数据存储中，结构化数据通常采用关系型数据库，非结构化数据（文件）的存储就有很多种方式，服务器本地存储、Nas挂载、ftp等等，今天就来盘点一下，分布式文件存储系统。
原创
2021-12-29 14:26:37
138阅读
Ceph分布式存储系统 官方中文文档：http://docs.ceph.org.cn/ 核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD OSD的英文全称是Object Storage Device，它的主要功能是存储数据、复制数据、平
原创
2022-01-10 11:33:25
437阅读
单机版启动
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server --console-address ":9001&
Doris是一个海量分布式KV存储系统，其设计目标是支持中等规模高可用、可伸缩的KV存储集群。跟主流的NoSQL系统HBase相比，其具有相似
原创
2022-07-28 17:43:00
253阅读
MFS是linux下的开源存储系统，它是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够节约存储成本，而且不逊色于专业的存储系统，更重要的是它能够实现在线扩展，MFS是一种半分布式文件系统。MFS的网络组成有三个部分：MASTER SERVER，CHUNK SERVER 和CLIENT其中master server 只有一个 chunk server 和client可以由多个MFS的
原创
2013-05-11 08:19:38
545阅读
MFS的编译与安装假设元数据服务器的IP地址为192.168.1.993个MFS客户端的IP地址为192.168.1.111 192.168.1.122 192.168.1.1331.安装和配置元数据服务器先下载源码wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11.mfs-1.6.11.tar
原创
2013-05-11 09:36:15
493阅读
下面继续对mfsexports.cfg文件进行配置cp mfsexports.cfg.dist mfsexports.cfgvi mfsexports.cfg#* / ro#192.168.1.0/24 /
原创
2013-05-11 11:50:07
468阅读
