zhutianss的博客_SDS

ceph学习笔记之十三 CephFS文件系统

CephFS文件系统 Ceph FileSystem简称CephFS,是一个支持POSIX接口的文件系统存储类型。目前发展比较滞后，主要原因CephFS技术不够成熟，另外受云计算对RBD和RADOSGW需求比CephFS大，社区将发展重点放到RBD和RADOSGW之上。因此目前CephFS还是比较适合实验或测试场景；随着应用需求增多CephFS将逐渐被重视。CephFS架构CephFS

学习笔记

原创 2017-10-10 14:11:31 8927 阅读 1收藏

ceph学习笔记之十副本放置策略

副本放置策略CRUSH 算法的设置目的是使数据能够根据设备的存储能力和宽带资源加权平均地分布，并保持一个相对的概率平衡。副本放置在具有层次结构的存储设备中，这对数据安全也有重要影响。通过反射系统的物理安装组织，CRUSH算法可以将系统模块化，从而定位潜在的设备故障。这些潜在故障的资源包括物理的，比如共用电源，共用的网络。通过向集群映射编码信息,CRUSH副本放置策略可以将数据对象独立在不同故障域,

ceph

SDS

原创 2017-08-07 20:24:02 3985 阅读 1收藏

ceph学习笔记之九层级化的Cluster Map

集群映射由Device和桶（Buckets）组成，设备和桶都有ID描述和权重。Bucket可以包含任意设备或者其他的bucket，使他们形成内部节点的存储层次结构,设备总是在叶子节点。存储设备的权重由管理员设置以控制设备负责存储的相对数据量。尽管大型系统的设备含不同的容量大小和性能特点,随机数据分布算法可以根据设备的利用率和负载来分布数据。这样设备的平均负载与存储的数据量成正比。这导致一维位置指标

SDS

ceph.CRUSH

原创 2017-08-03 00:16:04 5616 阅读 1收藏

ceph学习笔记之八 CRUSH

CRUSH（Controlled Replication Under Scalable Hashing）它是一种基于伪随机控制数据分布、复制的算法。数据分布式算法的要求：数据分布和负载均衡首先要让数据分布均匀，使数据能均匀的分布在各个节点和磁盘上。其次是负载均衡，使数据访问（主要是读写操作）的负载在各个节点和磁盘上的负载均衡。灵活应对集群伸缩系统可以方便的增加或者删除存储设备（包括节点和设备失

SDS

ceph.CRUSH

原创 2017-08-02 01:32:29 1472 阅读 2收藏

ceph学习笔记之七数据平衡

数据平衡当在集群中新增一个OSD设备时，整个集群将会发生数据迁移使数据重新分布达到均衡。在Ceph集群中数据迁移的的基本单位是PG。其实在迁移过程中是将PG中的所有对象作为一个整体来进行迁移。数据迁移触发流程： 1、当新加入一个OSD时，会改变系统的CRUSH Map，从而引起对象映射过程中的变化； 2、PG到OSD的映射关系发生了变化，从而引发数据的迁移。

恢复

ceph

SDS

原创 2017-07-31 15:08:08 4715 阅读 1收藏

ceph学习笔记之六数据读写过程

数据写过程1、Client向PG所在的主OSD发送写请求。2、主OSD接收到写请求，同时向两个从OSD发送写副本的请求，并同时写入主OSD的本地存储中。3、主OSD接收到两个从OSD发送写成功的ACK应答，同时确认自己写成功，就向客户端返回写成功的ACK应答。4、在写操作的过程中，主OSD必须等待所有的从OSD返回正确应答，才能向客户端返回写操作成功的应答数据读1、客

ceph

SDS

原创 2017-07-27 21:03:11 3485 阅读 1收藏

ceph学习笔记之五 Pool与映射过程

Pool Pool是一个抽象的存储池，它规定了数据冗余的类型以及对应的副本分布策略。目前实现了两种Pool类型：Replicated类型和Erasure Code类型。一个Pool由多个PG构成。对象映射过程对象映射过程指的是查找对象在集群中分布的位置信息，其过程分为两步：A、对象到PG的映射。这个过程是静态HASH映射（加入PG Split后实际变成了动态HASH映射方

ceph

SDS

原创 2017-07-26 14:10:18 1831 阅读 2收藏

ceph学习笔记之四PG

PG PG（Placement Group）单从名字上可理解为一个放置策略组，它是对象的集合，集合里的所有对象具有相同的放置策略；对象的副本都分布在相同的OSD列表上。一个对象只能属于一个PG，一个PG对应于放置在其上的OSD列表。一个OSD上可以分布多个PG。 PG是一组对象的逻辑集合，也可将PG看成一个逻辑容器，容器里面包含多个对象。图中PG1、PG2同处于一个Pool

对象

cloud

ceph

PG

sds

原创 2017-07-25 11:54:55 5529 阅读 1点赞 3收藏

ceph学习笔记之三Object

一、对象此处所说对象是指RADOS对象；跟RadosGW的S3或者Swift接口的对象存储要区分开。对象是数据存储的基本单元，一个对象默认大小4MB。对象由三个部分组成：对象标志（ID）:唯一标识对象对象数据：本地文件系统中对应一个文件，对象的数据就保存在文件中对象元数据：以键值对的形式，可以保存文件对应的扩展属性。本地文件系统的扩展属性能保存的数据量有限制；RADOS增加了另一种方

cloud

ceph

sds

原创 2017-07-21 11:21:34 3642 阅读 1点赞 1收藏

ceph学习笔记之二RADOS

Ceph学习笔记之二RADOS一、RADOS架构在RADOS架构中主要包含2个部分组件：1、MON（Monitor）由少量的Monitor节点构成的强耦合，小规模集群；负责管理Cluster Map。2、OSD（Object Storage Device）由数量可变的大规模磁盘设备组成的集群，负责存储所有Object数据。二、Monitor详解在前面已经简单对其MON进行描述，在这个地方我们再次

ceph

SDS

原创 2017-07-20 10:52:45 2424 阅读 1收藏

Ceph学习笔记之一初识ceph

一、Ceph概述 1、Ceph简介 Ceph是可靠的、可扩展的、统一的、分布式存储系统。Ceph可以同时提供对象存储RADOSGW（Reliable Autonomic Distributed Object Strorage Gateway）、块存储RBD（Rados Block Device）、文件系统存储CephFS（Ceph FileSystem)

cloud

ceph

sds

原创 2017-07-19 12:33:57 2911 阅读 1点赞 3收藏

ceph学习笔记之十二 Ubuntu安装部署Ceph J版本

安装Ubuntu系统安装步骤略过拓扑连接：一、安装前准备工作 1、修改主机名；将主机名更改为上图中对应的主机名。[root@localhost ~]# vim /etc/hostname 2、更新主机上的hosts文件，将主机名与如下IP进行解析。192.168.100.128 ceph-node1192.168.100.

ceph

SDS

原创 2017-07-18 02:03:12 5007 阅读 2收藏

ceph学习笔记之十一 Cent OS7安装部署Ceph J版本

开始安装Ceph 使用ceph-deploy工具在所有节点安装并配置Ceph；ceph-deploy是用来方便的配置管理Ceph存储集群。 1、在ceph-node1上安装ceph-deploy [root@ceph-node1 ~]# yum install ceph-deploy –y 2、创建一个ceph 目录；并用ceph-deploy创建一个Ceph集群 [root@ceph-node1 ~]# mkdir /etc/ceph ; cd /etc/ceph [root@ceph-node1 ceph]# ceph-deploy new ceph-node1

ceph

SDS

原创 2017-07-18 01:28:13 10000+阅读 6收藏 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

無詺IT小站

ceph学习笔记之十三 CephFS文件系统

ceph学习笔记之十副本放置策略

ceph学习笔记之九层级化的Cluster Map

ceph学习笔记之八 CRUSH

ceph学习笔记之七数据平衡

ceph学习笔记之六数据读写过程

ceph学习笔记之五 Pool与映射过程

ceph学习笔记之四PG

ceph学习笔记之三Object

ceph学习笔记之二RADOS

Ceph学习笔记之一初识ceph

ceph学习笔记之十二 Ubuntu安装部署Ceph J版本

ceph学习笔记之十一 Cent OS7安装部署Ceph J版本