Ceph架构剖析
Ceph是一种分布式的存储系统，以其高可靠性和可扩展性而闻名。它是由红帽公司开发的，旨在为企业提供用于管理和存储海量数据的解决方案。Ceph的架构是其能够实现这些目标的关键所在。
Ceph的架构基于分布式对象存储模型。它将数据分为许多小的对象，并将它们存储在一个统一的存储池中。这些对象是有唯一标识符的，并且可以像操作文件一样对它们进行读写。每个对象都存储在多个计算节点上，以确
原创
2024-02-01 09:45:39
103阅读
来源：UnitedStack有云 作者：朱荣泽1. 介绍云硬盘是IaaS云平台的重要组成部分，云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷，EBS适合于一些需要访问块设备的应用，比如数据库、文件系统等。在OpenStack中，可以使用Ceph、Sheepdog、Gluste
转载
精选
2015-09-21 14:31:26
2215阅读
ceph-volume入口函数第一篇文章对ceph-volume进行了一个基本介绍，从这篇文章开始，打算结合一些具体的操作逐步分析代码流程和实现。
首先我们在cli查看ceph-volume命令，如下图所示： 红色方框内容显示的意思是，ceph-volume将执行console_scripts中定义的ceph-volume所代表的函数。那么console_scripts是在哪里呢？ ceph-
转载
2023-07-17 16:20:00
82阅读
【编者的话】Ceph和Swift，哪种更好？这个问题上大家争论不休，本文从两者的架构角度分析两种方式各自的优缺点，并且给出如何选择的建议。当工程师们讨论存储，谈到Ceph和Swift时，他们通常都一致认为其中一个非常棒，另外一个却很糟糕。但问题时，他们在哪个好哪个不好上却意见不一。经常会有客户问我相同的问题，“我们听说Ceph可以代替其他所有类型的存储。为什么不能用它做所有事情呢？”我会在Vanc
转载
精选
2015-11-11 09:55:48
1420阅读
在 Kubernetes（K8s）中，Pod 是最小的可调度单元。当 Spark 任务运行在 K8s 上时，无论是 Driver 还是 Executor 都由一个单独的 Pod 来表示。每个 Pod 都被分配了一个唯一的 IP 地址，并且可以包含一个或多个容器（Container）。Driver 和 Executor 的 JVM 进程都是在这些 Container 中启动、运行和销毁的。当一个 S
转载
2024-09-29 16:49:22
56阅读
CephCrushMap规则剖析buckettype类型bucket层次结构中内部节点的map术语：主机、机架、行等。CRUSH映射定义了一系列用于描述这些节点的类型。默认情况下，这些类型包括：osd(ordevice)host主机chassisrack机架rowpdupodroom机房datacenter数据中心region亚洲，欧洲root查看本地Crush层级结构的简单视图cephosdcr
原创
2020-12-23 16:18:04
3538阅读
Recovery阶段在Leader选举成功后，Leader和Peon都进入Recovery阶段。该阶段的目的是为了保证新Quorum的所有成员状态一致，这些状态包括：最后一个批准(Committed)的提案，最后一个没批准的提案，最后一个接受(Acceppted)的提案。每个节点的这些状态都持久化到磁盘。对旧Quorum的所有成员来说，最后一个通过的提案应该都是相同的，但对不属于旧Quorum的成
转载
2020-11-06 11:54:00
477阅读
2评论
Ceph的系统架构如下图所示（来源于Ceph.com）： 根据架构图，Ceph系统大致可以分为两个层次： 用于实现存储资源整合的RADOS。 该层次是一个完整的分布式存储系统，对外以libRADOS的方式提供基于对象协议的访问服务。 用于对外提供各类协议的协议转换组件：CephFS、RBD和RGW。 这一层次的三个组件之间是相互独立的，且都通过libRADOS将数据存放在RADOS中，
转载
2023-11-27 00:01:29
92阅读
Ceph是统一分布式存储系统，具有优异的性能、可靠性、可扩展性。Ceph的底层是RADOS(可靠、自动、分布式对象存储)，可以通过 LIBRADOS直接访问到RADOS的对象存储系统。RBD(块设备接口)、RADOS Gateway(对象存储接口)、Ceph File System(POSIX接口)都是基于RADOS的。Ceph存储系统的逻辑层次结构如下图所示：自下向上，可以将Ceph系统分为四个
转载
2023-10-10 07:23:55
207阅读
Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。Ceph特点1、高性能 a. 摒弃了传统的集中式存储元数据
转载
2024-01-30 06:32:37
78阅读
1 前言Rook 是一款云原生存储编排服务工具，由云原生计算基金会（ CNCF ）孵化，且于2020 年 10 月正式进入毕业阶段。Rook 并不直接提供数据存储方案，而是集成了各种存储解决方案，并提供一种自管理、自扩容、自修复的云原生存储服务。社区官方资料显示， Rook 1.5 是目前最新的稳定版本，其中只有 Rook +Ceph 存储集成方案处于 stable 状态，版本升级较平滑。Ceph
原创
2021-04-18 11:05:17
1162阅读
【摘要】Rook 是一款云原生存储编排服务工具，Ceph 是一种广泛使用的开源分布式存储方案，通过 Rook 可以大大简化 Ceph 在 Kubernetes 集群中的部署和维护工作。本文重点介绍 Rook+Ceph 存储方案的技术架构，剖析 Rook+Ceph 各模块的功能及其运作流程，希望给同行在云原生存储的学习和使用过程中提供一些借鉴。【作者】陈萍春，现就职于保险行业，拥有多年的系统、存储以
原创
2021-04-22 14:18:51
1877阅读
Ceph化简的大致结构图Ceph网络流量结构存储类型存储的类型都是经过历史演化的结果，而ceph都是支持，并且利用rados集群解决了各自的缺点块存储：最接近硬件，直接对硬件进行操作，通过把所有数据按照固定的大小分块，每一块赋予一个用于寻址的编号，但是存储需要建立在连续的编号上，数据按照字节进行读写
缺点：容量浪费（连续的编号）和不便管理（硬盘越来越大）文件存储：最常见使用的文件系统，采用树
转载
2024-01-22 22:04:27
80阅读
Ceph 是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。Ceph 架构是基于 RADOS（Reliable Autonomic Distributed Object Store）设计的，其中包括多个组件，如 Ceph OSD（Object Storage Daemon）、Ceph MON（Monitor）、Ceph MDS（Metadata Server）等。这些组
原创
2024-03-06 09:28:51
68阅读
本文将从逻辑结构的角度对Ceph进行分析。Ceph系统的层次结构Ceph存储系统的逻辑层次结构如下图所示[1]。Ceph系统逻辑层次结构
自下向上，可以将Ceph系统分为四个层次：（1）基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储）顾名思义，这一层本身就是一个完整的对象存储系统，所有存储在C
转载
2023-07-10 15:34:14
153阅读
分布式存储Cephceph介绍ceph是一个统一的、分布式的存储系统，设计初衷式提供较好的性能(io)、可靠性(没有单点故障)和可扩展性(未来可以理论上无限扩展集群规模)，这三点也是集群架构所追求的。统一性 : 意味着我们可以仅凭ceph这一套存储系统，同时提供块存储和文件系统存储、对象存储。这三种功能，这极大地简化了不同应用需求下地部署和运维工作。分布式 : 传统集群架构: 集群规模增大，mys
转载
2023-11-09 11:08:06
76阅读
1. Ceph架构简介及使用场景介绍1.1 Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。1.2 Ceph
转载
2024-06-24 17:18:09
31阅读
PG 故障状态Creating(创建中)在创建POOL时,需要指定PG的数量,此时PG的状态便处于creating,意思是Ceph正在创建PGPeering(互联中)peering的作用主要是在PG及其副本所在的OSD之间建立互联,并使得OSD之间就这些PG中的object及其元数据达成一致Active(活跃的)处于该状态意味着数据已经完好的保存到了主PG及副本PG中,并且Ceph已经完成了pee
转载
2023-12-27 15:32:11
257阅读
&nbs
转载
2023-12-04 23:25:54
114阅读
文章目录1. Ceph架构说明1.1 整体架构图1.2 接口类型1.2.1 RBD1.2.2 CephFS1.2.3 RadosGW1.3 RADOS2. RADOS概念介绍2.1 Monitor2.2 RADOS对象存储2.3 pool和PG2.4 对象寻址过程2.5 对象读写2.6 数据均衡2.7 Peering2.8 Recovery&Backfill2.9 纠删码2.10 快照和
转载
2023-12-06 18:52:37
100阅读
