第一部分 初识HBase第 1 节 HBase 简介1.1 HBase是什么HBase 基于 Google的BigTable论⽂而来，是⼀个分布式海量列式⾮关系型数据库系统，可以提供超大规模数据集的实时随机读写。1.2 HBase的特点海量存储: 底层基于HDFS存储海量数据列式存储:HBase表的数据是基于列族进行存储的，一个列族包含若⼲列极易扩展:底层依赖HDFS，当磁盘空间不足的时候，只需要
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件夹，集合到一个文件夹内(虚拟共享文件夹)。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户
原创
2018-08-06 01:52:15
928阅读
点赞
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下： 以下，我们将从架构、模块等几个方面来介绍下： 一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实现负载均衡；节点故障时，数据可自己主动恢复；直接支持QEMU/KVM应用； 二、模块如上图：由c
转载
2014-11-03 21:05:00
58阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为
转载
2014-07-27 20:58:00
42阅读
TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TDSS提供了良好的读写性能。
主要特性
1.全局单副
原创
2013-04-07 13:44:19
510阅读
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
转载
2014-11-05 21:23:00
66阅读
基本介绍概念安装部署方式FastDFS-Java客户端dependency并没有放置在 maven 仓库；其
Ceph分布式存储系统Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比
原创
2016-04-07 18:19:31
10000+阅读
点赞
分布式文件系统GlusterfsGluster File System 是自由软件，主要由 Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。1.1系统环境准备三
翻译
2017-05-12 09:51:50
1254阅读
Cassandra是facebook开源出来的一个版本，可以认为是BigTable的一个开源版本，
最近在学习Hadoop和HBase，现在总结一下HBase的一些基本概念，理解好后使用和开发更容易。HBase是一个分布式的、面向列的数据存储系统。它在HDFS基础上提供随机读写的功能。HBase有如下特性，没有真正的索引，自动分区，线性扩展和对于新结点的自动处理，普通商用硬件支持，容错，批处理。1、HBase逻辑结构行，列，列族和单元格(c
一、HBase的安装模式 ①单机安装：不依赖于Hadoop的HDFS，配置完即可使用，好处是便于测试，坏处是不具备分布式数据存储的能力。 ②伪分布式安装：单台主机模拟真实环境。 ③完全分布式安装：多台主机（虚拟机）来搭建二、搭建准备 ①搭建Hadoop+JDK+ZooKeeper（3个zookeeper集群模式，博主其他博文中已安装-------zookeeper集群的搭建（3台虚拟机））
配置元数据日志服务器MFS安装完成后，默认的配置文件位于/usr/local/mfs/etc目录下，该服务只有一个配置文件，即mfsmetalogger.cfg。该文件内容如下：cp mfsmetalogger.cfg.dist mfsmetalogger.cfgvi mfsmetalogger.cfg# WORKING_USER = mfs# WORKING_GROUP = mfs# SYSLO
原创
2013-05-11 12:08:19
567阅读
安装配置数据存储服务器配置文件位于安装目录的/usr/local/mfs/etc下。需要用到的配置文件有两个：mfschunkserver.cfg 和 mfshdd.cfg mfschunkserver.cfg是主配置文件； mfshdd.cfg配置文件时用来指定服务器分配给MFS使用的空间，这个空间最好是一个单独的硬盘或者一个RAID卷，至少是一个磁盘分区。mfschunkserver.cfg中
原创
2013-05-11 14:28:34
2835阅读
在项目的数据存储中，结构化数据通常采用关系型数据库，非结构化数据（文件）的存储就有很多种方式，服务器本地存储、Nas挂载、ftp等等，今天就来盘点一下，分布式文件存储系统。
原创
2021-12-29 14:26:37
138阅读
Ceph分布式存储系统 官方中文文档：http://docs.ceph.org.cn/ 核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD OSD的英文全称是Object Storage Device，它的主要功能是存储数据、复制数据、平
原创
2022-01-10 11:33:25
437阅读
单机版启动
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server --console-address ":9001&
Doris是一个海量分布式KV存储系统，其设计目标是支持中等规模高可用、可伸缩的KV存储集群。跟主流的NoSQL系统HBase相比，其具有相似
原创
2022-07-28 17:43:00
253阅读
