GFS架构有哪些

转载

mob64ca14010a69 2024-07-16 11:20:36

文章标签 GFS架构有哪些文件系统客户端数据 文章分类 架构后端开发

GFS分布式管理

一、文件系统(FS)简介

1.1 文件系统组成
1.2 文件系统作用
1.3 文件系统的挂载使用

二、GlusterFSt分布式文件系统概述

2.1、GFS是由三个组件组成
2.2、GFS的架构
2.3、GFS 专业术语
2.4 GFS模块化维栈式架构

三、Gluster工作流程

3.1、工作流程(写):
3.2、基本卷
3.3、复合卷
3.4、HASH算法

四、部署GlusterFS 群集

一、文件系统(FS)简介

1.1 文件系统组成

①文件系统接口
②对对像管理的软件集合
③对象及属性

1.2 文件系统作用

从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取。

1.3 文件系统的挂载使用

除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问，挂载点即分区设备文件关联的某个目录文件，类比:NES

二、GlusterFSt分布式文件系统概述

用于存储、管理物理文件(保存磁盘时使用)

2.1、GFS是由三个组件组成

①存储服务器
②客户端
③NFS/Samba存储网关组成
元数据服务器的作用:存储元数据，帮用户定位文件的位置、索引等信息
有元数据服务器文件系统中，如果元数据损坏，会直接导致文件系统不可用

2.2、GFS的架构

●存储服务器,存储节点信息
●分布式如何定位文件定位索引?对此,客户端是一个很关键的组件
GFS提供了一个全局统一命名空间
此命名空间提供了一个API，此API是用户访问GFs服务器中数据的唯一入口
弹性卷管理:ATD (基于容错、读写性能等技术)可以在分布式文件系统之上可以使用RAID卷的集中管理。
●基于标准协议:客户端和存储服务器交互需要借助网络，而相关的网络协议包括TCP/IP协议

2.3、GFS 专业术语

●brick 存储服务器:实际存储用户数据的服务器
●volume 本地文件系统的"分区"
●FUSE :用户空间的文件系统（类比EXT4)，“这是一个伪文件系统”，以本地文件系统为例，用户想要读写一个文件，会借助于EXT4文件系统，然后把数据写在磁盘上，而如果是远端的GES，客户端的请求则应该交给FUSE（伪文件系统〉，就可以实现跨界点存储在GFS上。
●VFS（虚拟端口）:内核态的虚拟文件系统，用户是先提交请求交给VFS 然后VFS交给FUSE再交给GFS客户端，最后由客户端交给远端的存储。
●Glusterd（服务）：是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成。

2.4 GFS模块化维栈式架构

①模块化：
类似于linux编译安装
很多功能都可以做定制的，通常都是通过软件开发的方式封装为模块，按需使用/不适用
GlusterFS也是这个思想把功能封装为一个个模块，通过加载/调用/启用的方式就可以对应的功能
堆栈式架构设计:
通过对模块不同功能的组合来实现复杂功能
②VFS:
虚拟的内核文件系统，通过VFS的API接受请求、处理请求（场景:根据请求，加载以下模块)
I/O cache: I/O缓存
read ahead : 内核文件预读
distribute/ stripe: 分布式、条带卷
通过加载以上三个模块，然后联和多个client端，组成所需要的例如:分布式卷、条带卷等等。

三、Gluster工作流程

3.1、工作流程(写):

客户端在本地发出读写请求，然后交由VFS 的API接受请求，
接受请求后会交给FUSE（内核伪文件系统)，FUSE可以模拟操作系统，所以可以对文件系统进行转存，转存的设备位置为:/dev/fuse(用于传输的设备-虚拟设备文件)一》交给GFS客户端，client会根据配置文件对数据进行处理，然后再通过TCP/IB/rdma网络发送到GFS服务端，并且将数据写到服务器存储设备上。

在多个后端存储中如何定位文件:
使用弹性HASH算法来解决数据定位、索引、寻址的功能
先通过HASH算法对数据可以得到一个值（该值有2的32次方个组合）每个数据对应了0-2的32次方的一个值。

平均分配的优点:

当数据量越来越大的时候，相对每个存储节点的数据量（几率）是相等的

而如果考虑到单点故障问题，当数据存储在C存储节点，对此GFS是会有备份机制的，默认3备份，所以GES本身的机制会对数据产生冗余，以此解决单点故障

GFS架构有哪些_GFS架构有哪些

3.2、基本卷

distribute volume   分布式卷
stripe volume       条带卷
replica volume      复制卷

3.3、复合卷

distribute stripe volume           分布式条带卷
distribute replica volume          分布式复制卷
stripe replica volume              条带复制卷
distribute stripe replicavolume    分布式条带复制卷

3.4、HASH算法

通过HASH算法得到一个固定长度的数据（这里是32位整数)，一般情况下，不同数据得到的结果是不同的，为了解决分布式文件数据索引、定位的复杂程度，而使用了HASH算法来辅助
GlusterFS支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。

分布式卷（默认):文件通过 HASH 算法分布到所有Brick Server 上
这种卷是Glusterf的基础;以文件为单位根据HASH算法散列到不同的 Brick，其实只是扩大了磁盘空间，
如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID 0，不具有容错能力。
 4个文件2个brick 存储服务器3个文件放在第一个brick块中，第四个文件放在第二个brick块中

条带卷（默认）︰类似RAID0，文件被分成数据块并以轮询的方式分布到多个Brick Server上，
文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高。
PS：100    50+50

复制卷(Replica volume):将文件同步到多个 Brick 上，使其具备多个文件副本，属于文件级RAID1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降。
100m 4个文件2个brick服务器
100 * 4文件存在第一个和第二个brick

分布式条带卷(Distribute Stripe volume ) : Brick Server 数量是条带数（数据块分布的 Brick数量）的倍数,兼具分布式卷和条带卷的特点。
50 * 3      放在一个 brick
50* 1       放在第二个brick
50* 3       放在第三个brick
brick50* 1  放在第四个brick

分布式复制卷(Distribute Replica volume) : Brick Server 数量是镜像数（数据副本数量)的倍数,兼具分布式卷和复制卷的特点
100 * 3     放在一个brick
100 * 1     放在第二个brick
100 * 3     放在第三brick
100 * 1     放在第四个brick

条带复制卷(stripe Replica volume):类似 RAID 10，同时具有条带卷和复制卷的特点。
分布式条带复制卷（Distribute stripe Replicavolume):三种基本卷的复合卷，通常用于类Map Reduce应用。

四、部署GlusterFS 群集

Node1节点：node1/192.168.153.200		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.153.215		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.153.220	      磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.153.224		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1
客户端节点：192.168.153.50

在所有node节点上准备环境：

1、关闭防火墙和安全
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

2、在4台node节点添加磁盘sd[b-e]各十个G

3、磁盘分区，并挂载
vim /opt/fdisk.sh

#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh

或者如下

#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'    
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit   
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda   
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR
 
        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null    
	#mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done

4、修改主机名，配置四台节点/etc/hosts文件 
echo "192.168.153.200 node1" >> /etc/hosts
echo "192.168.153.215 node2" >> /etc/hosts
echo "192.168.153.220 node3" >> /etc/hosts
echo "192.168.153.224 node4" >> /etc/hosts

5、所有节点安装、启动GFS 
上传gfsrepo.zip 至/opt解压缩
unzip gfsrepo.zip

cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

vim  /etc/yum.repos.d/glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
保存退出

yum clean all && yum makecache
yum -y install centos-release-gluster  采用官方YUM 源安装，可以直接指向互联网仓库
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
netstat -antp | grep glusterd  查看端口状态

添加节点到存储信任池中(在node1节点上操作)
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
gluster peer status		#在每个节点上查看群集状态

创建分布式卷，没有指定类型，默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force	
gluster volume list                   查看卷列表
gluster volume start dis-volume       启动新建分布式卷
gluster volume info dis-volume        查看创建分布式卷信息

GFS架构有哪些_客户端_02

创建条带卷，指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume   启动新建条带卷
gluster volume info stripe-volume      看创建条带卷信息

GFS架构有哪些_GFS架构有哪些_03

创建复制卷，指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume

创建分布式条带卷指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe

GFS架构有哪些_客户端_04

创建分布式复制卷，指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep	
gluster volume list

GFS架构有哪些_GFS架构有哪些_05

部署 Gluster客户端

1．安装客户端软件
#将gfsrepo 软件上传到/opt目下 
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse

2．创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test

3．配置 /etc/hosts 文件
echo "192.168.153.200 node1" >> /etc/hosts
echo "192.168.153.215 node2" >> /etc/hosts
echo "192.168.153.220 node3" >> /etc/hosts
echo "192.168.153.224 node4" >> /etc/hosts
echo "192.168.153.225 client" >> /etc/hosts

4．挂载 Gluster 文件系统
#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：rabbitmq顺序消息java

下一篇：jvm进程与Java程序进程的关系 jvm与jmm

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯