存储的分类有以下几种： DAS：直连存储，U盘，硬盘等。 NAS：网络附加存储，nfs，samba，ftp等，共享的是已经格式化服的文件系统。 SAN：存储区域网络，iscsi等，共享的是没有格式化的磁盘（块设备）。 SDS：软件定义存储（分布式存储），ceph，hadoop等。ceph：是一种分布式的存储系统，可以提供块共享（未格式化的磁盘）、文件系统共享（已经格式化过的），对象存储。ceph组
转载
2024-01-16 19:27:01
63阅读
1.为什么要用CephCeph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。。目前也是OpenStack的主流后端存储，随着OpenStack在云计算领域的广泛使用，ce
转载
2023-07-11 09:53:24
350阅读
一、什么是cephceph是当前最热门的分布式存储系统之一，是软件定义存储(SDS,SoftwareDefinedStorage)解决方案中的典范。其具备良好的可靠性、可扩展性，应用范围包括块存储(RBD,RadosBlockDevice)、文件存储(CephFS,CephFileSystem)和对象存储(RADOSGW,Reliable、Autonomic、Distributed、Ob
转载
2024-04-30 17:12:00
36阅读
MinIO与Ceph调研MinIO1. 基本介绍使用Go语言开发2. 特点可以作为存储也可以作为云存储的网关使用，兼容AS3，部分版本支持滚动升级(仍然建议使用 mc admin update 命令升级)3.基本数据结构Bucket：桶，文件存储的逻辑空间，与AS3的bucket定义相同Object：文件数据，part.1源文件，xi.json文件元数据(meta)内部结构Drive：数据盘Set
转载
2023-11-01 15:14:33
487阅读
1. 概述2. 对比[2.1. 软件整体对比12](#21-软件整体对比1-2)
2.1.1. 语言与代码量及技术栈2.1.1.1. 编译时间2.1.1.2. 技术栈[2.1.2. License 3](#212-license–4)
2.1.2.1. LGPL2.1.2.2. AGPLv32.1.3. 文档2.1.4. 社区支持2.2. 对象存储功能对比2.2.1. 数据
文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCeph Monitor分析Ceph OSD分析Ceph Manager分析Ceph Clients分析小结HDFS优点缺点Ceph优点缺点参考 中间控制节点架构-HDFS以HDFS（ Hadoop Distribution File Sy
转载
2024-06-26 11:54:42
42阅读
FastDFS和Ceph是两种常用的分布式文件存储系统，它们都具有高性能、高可靠性和可扩展性等优点，但在具体实践中却有一些不同之处。下面将对FastDFS和Ceph进行比较，以帮助读者更好地了解它们之间的差异和适用场景。
首先，从架构上看，FastDFS是一个基于文件系统的分布式文件存储系统，中心节点负责文件索引和元数据管理，存储节点负责文件的存储和传输。而Ceph则是一个分布式存储系统，采用了
原创
2024-03-04 09:51:24
303阅读
Ceph 和HDFS是两种常用的分布式存储系统，它们在大数据领域有着广泛的应用。本文将对这两种系统进行比较，探讨它们的优缺点以及适用场景。
首先，让我们先来了解一下Ceph和HDFS分别是什么。Ceph是一个开源的分布式存储系统，它具有高可靠性和高可扩展性的特点，可以提供对象存储、块存储和文件系统服务。而HDFS（Hadoop Distributed File System）是Apache Ha
原创
2024-03-11 11:52:29
193阅读
在当今云计算和大数据时代，存储系统对于企业的重要性不言而喻。而在众多存储系统中，Gluster和Ceph是备受关注的两个开源分布式存储系统。本文将对Gluster和Ceph进行对比，并分析它们各自的优势和适用场景。
首先，我们来介绍一下Gluster。Gluster是一个基于用户空间的分布式文件系统，它可以将物理磁盘空间聚合成一个统一的虚拟存储池。Gluster的核心组件是一个存储服务器和一个客
原创
2024-01-30 19:01:35
82阅读
# 使用 Ceph、HBase 和 FastDFS 构建分布式存储解决方案
在现代大数据处理系统中，Ceph、HBase 和 FastDFS 是三个非常重要的组件，它们各自担任着不同的角色，帮助我们实现一个高效、可扩展的分布式存储解决方案。本文将带您逐步了解如何将这三者结合在一起。
## 整体流程概述
为了清晰展现整件事情的流程，以下是步骤整理的表格：
| 步骤 | 描述
一、HDFS1、hdfs概述HDFS (全称Hadoop Distributed File System)，即hadoop的分布式文件系统高容错（数据库blcok备份），可扩展，适合存大文件，一次写入、多次读写不能并发写入，不适合小文件，不能修改文件，不适合处理低延时的数据（HBase更好），hdfs dfs -put localpath hdfspath 上传文件常用命令
转载
2023-12-06 13:46:56
75阅读
一、概述 普通存储方案：Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块)，Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大，而SAN存储价格又比较昂贵，因此大多会选择分布式 存储来解决一下问题： 海量数据存储问题数据高可用
转载
2024-05-25 13:56:46
140阅读
Ceph是目前炙手可热的一个统一分布式存储系统，具有优异的性能、可靠性、可扩展性。其可轻松扩展到数 PB 容量， 支持多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽），具有极其高的可靠性。Ceph对比HDFS优势在于易扩展，无单点。HDFS是专门为Hadoop这样的云计算而生，在离线批量处理大数据上有先天的优势，而Ceph是一个通用的实时存储系统，具有相当好的超大数量小文件处理能力，且
转载
2023-10-18 18:14:48
192阅读
选型需要考虑，但不限于如下几个方面:自建 nfs 选型，moosefs，ceph，seaweedfs，lustre，glusterfs，FastDFS 等。如何平滑迁移？大文件、软链不少，小文件较多，迁移耗时长，且迁移过程中要保证不停服运行。要考虑做隔离，除了给平台提供服务，还会给其他产品提供服务，各自挂了不影响其他的。容错恢复能力和监控。 这篇博客有简单明了的表格对比，不再赘述。针对
Ceph和传统存储对比
在当今数字化时代，数据已经成为企业运营中不可或缺的重要资源。因此，存储数据的方式和技术变得愈发重要，尤其是在大数据、云计算和人工智能等领域的迅速发展。传统存储系统通常采用集中式存储方式，如网络附加存储（NAS）和存储区域网络（SAN）。而Ceph则是一种新兴的开源存储系统，它带来了一种全新的分布式存储方式。本文将对Ceph和传统存储系统进行对比。
首先，我们来看看Cep
原创
2024-03-18 10:30:39
133阅读
HBase是谷歌BigTble的开源实现。谷歌的三篇论文拉开了大数据江湖的序幕，铸就了现在以Hadoop为主的大数据技术生态圈。而HBase是开源的大数据数据库，和传统的行式数据库不同的是，HBase是列式数据库。列式数据的特点是开源横向扩展，将一张表的数据存储在hadoop集群的不同datanode中，一张表的存储量可以达到T级别。这是行式关系型数据库无法实现的。本文主要讲解HBase的基本概念
转载
2023-09-04 23:21:25
140阅读
一、介绍网络文件系统，英文Network File System(NFS),是一种基于TCP传输协议的文件共享习通。 NFS的CS体系中的服务端启用协议将文件共享到网络上，然后允许本地NFS客户端通过网络挂载服务端共享的文件。1、来源
2、特点
1、方便
2、资源占用少
3、使用率高输出 export二、NFS原理 当NFS服务器设置好一个共享目录，且设置好授权ip以及权限后，有访问权的客户
转载
2024-08-13 17:03:49
192阅读
如今硬件的性价比越来越高，网络传输速度越来越快，数据库分层的趋势逐渐显现，人们已经不再强求用一个解决方案来解决所有的存储问题，而是通过分层，让缓存与数据库负责各自擅长的业务场景。TiDB 作为一款 HTAP 数据库，在高性能的实现 OLTP 特性基础之上，也同时提供基于实时交易数据的实时业务分析需求。什么是 TiDB 数据库？TiDB 是一个数据库。我们知道市面上有很多类似 MySQL、Oracl
转载
2023-12-22 14:10:31
122阅读
### Redis vs HBase 对比教程
在进行技术对比之前，首先我们要明确两个数据库系统的特点。Redis 是基于内存的数据结构存储系统，常用于高速缓存及实时数据处理；HBase 是非关系型数据库，适合用于大规模数据存储，并且提供了随机访问能力。以下是这两者比较的基本流程。
#### 流程概述
| 步骤 | 描述 |
|------|-------
# Kudu与HBase对比的实现指南
Kudu和HBase都是广泛使用的分布式存储系统，各自具有不同的优缺点，适合不同的使用场景。在这篇文章中，我将向刚入行的小白详细介绍如何对这两种技术进行对比分析。我们将通过一系列步骤来完成此任务，并确保每一步都清晰易懂。
## 流程概述
以下是对比Kudu和HBase的基本流程：
| 步骤 | 描述 |
|-----
原创
2024-09-16 04:41:01
22阅读
