GlusterFS卷类型及数据分布分析

转载

云原生总监 2022-10-20 23:39:57

Glusterfs支持七种Volume，即Distribute卷、Stripe卷、Replica卷、Distribute stripe卷和Distribute replica卷，Distribute Stripe， Replica Volume卷这七种卷可以满足不同应用对高性能、高可用的需求。

基本卷：

(1) distribute volume：分布式卷

(2) stripe volume：条带卷

(3) replica volume：复制卷

复合卷：

(4) distribute stripe volume：分布式条带卷

(5) distribute replica volume：分布式复制卷

(6) stripe replica volume：条带复制卷

(7) distribute stripe replicavolume：分布式条带复制卷

数据分布：

1、Distributed volume

2、Stripe volume

3、Replicated volume

4、distribute stripe volume

5、distribute replica volume

6、stripe replica volume

7、distribute stripe replica volume

基本卷：

(1) distribute volume：分布式卷

文件通过hash算法分布到所有brick server上，这种卷是glusterfs的基础和最大特点；实只是扩大的磁盘空间，如果有一个磁盘坏了，对应的数据也丢失，文件级RAID 0，不具有容错能力。

(2) stripe volume：条带卷

类似RAID0，文件分成数据块以Round Robin方式分布到brick server上，并发粒度是数据块，支持超大文件，大文件性能高；

(3) replica volume：复制卷

文件同步复制到多个brick上，文件级RAID 1，具有容错能力，写性能下降，读性能提升。

复合卷：

(4) distribute stripe volume：分布式条带卷

brickserver数量是条带数的倍数，兼具distribute和stripe卷的特点；

(5) distribute replica volume：分布式复制卷

brickserver数量是镜像数的倍数，兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。

(6) stripe replica volume：条带复制卷

类似RAID 10

同时具有条带卷和复制卷的特点

(7) distribute stripe replicavolume：分布式条带复制卷

三种基本卷的复合卷

通常用于类Map Reduce应用

1、Distributed volume

在该模式下，并没有对文件进行分块处理，文件直接存储在某个server节点上。“没有重新发明轮子”，这句话很好的概括了这种GlusterFS的设计思路。因为使用了已有的本地文件系统进行存储文件，所以通用的很多linux命令和工具可以继续正常使用。这使得GlusterFS可以在一个比较稳定的基础上发展起来，也更容易为人们所接受。因为需要使用到扩展文件属性，所以其目前支持的底层文件系统有：ext3、ext4、ZFS、XFS等。

由于使用本地文件系统，一方面，存取效率并没有什么没有提高，反而会因为网络通信的原因而有所降低；另一方面，支持超大型文件会有一定的难度。虽然ext4已经可以支持最大16T的单个文件，但是本地存储设备的容量实在有限。所以如果有大量的大文件存储需求，可以考虑使用Stripe模式来实现，如考虑新建专门存储超大型文件的stripe卷。

功能：

将文件存放在服务器里，如上图，File1和File2存放在server1，而File3存放在server2，文件都是随机存储

2、Stripe volume

其实Stripe模式相当于raid0，在该模式下，系统只是简单地根据偏移量将文件分成N块（N个stripe节点时），然后发送到每个server节点。server节点把每一块都作为普通文件存入本地文件系统中，并用扩展属性记录了总的块数（stripe-count）和每一块的序号（stripe-index）。stripe数必须等于volume中brick所包含的存储服务器数，文件被分成数据块，以Round Robin的方式存储在bricks中，并发粒度是数据块，大文件性能好

功能：

将文件存放在不同服务器里，如上图，File被分割为6段，1、3、5放在server1，2、4、6放在server2

3、Replicated volume

Replicated模式，也称作AFR（AutoFile Replication），相当于raid1，即同一文件在多个镜像存储节点上保存多份，每个replicated子节点有着相同的目录结构和文件。replicated模式一般不会单独使用，经常是以“Distribute+ Replicated”或“Stripe+ Replicated”的形式出现的。如果两台机的存储容量不同，那么就如木桶效应，系统的存储容量由容量小的机器决定。replica数必须等于volume中brick所包含的存储服务器数，可用性高。创建一个两两互为备份的卷，存储池中一块硬盘损坏，不会影响到数据的使用，最少需要两台服务器才能创建分布镜像卷。

Replicated模式是在文件的级别上进行的（相比较于HDFS），而且在创建卷volume时就确定每个server节点的职责，而且只能人工的进行调整。这样的话就相对的不灵活，如果一个节点A出了问题，就一定要用新的节点去替代A，否则就会出现一些问题隐患。

在Replicated模式下，每个文件会有如下几个扩展属性：

读写数据时，具体的情况如下：

读数据时：系统会将请求均衡负载到所有的镜像存储节点上，在文件被访问时同时就会触发self-heal机制，这时系统会检测副本的一致性（包括目录、文件内容、文件属性等）。若不一致则会通过changelog找到正确版本，进而修复文件或目录属性，以保证一致性。

写数据时：以第一台服务器作为锁服务器，先锁定目录或文件，写changelog记录该事件，再在每个镜像节点上写入数据，确保一致性后，擦除changelog记录，解开锁。

如果互为镜像的多个节点中有一个镜像节点出现了问题，用户的读/写请求都可以正常的进行，并不会受到影响。而问题节点被替换后，系统会自动在后台进行同步数据来保证副本的一致性。但是系统并不会自动地需找另一个节点来替代它，而是需要通过人工新增节点来进行，所以管理员必须及时地去发现这些问题，不然可靠性就很难保证。