集中shi存储网络架构 集中式存储类型有哪些

【●】集群与存储
一、Ceph
  基础知识
1.分布式存储
●分布式存储，是一种存储方式，区别于目前已经成熟的中心化存储，指的是通过网络使用分布式存储系统内的每一个本地存储空间，即将文件数据分散存储在多个独立的节点上。
●它通常采用可扩展的系统，利用多台服务器分担存储负荷，快速、安全、稳定，并且扩展空间极高
●分布式是指一种独特的系统架构，它由一组网络进行通信、为了完成共同的任务而协调工作的计算机节点组成
●分布式系统是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务
●其目的就是利用更多的机器，处理更多的数据

2.常用分布式文件系统
●Lustre
●Hadoop
●FastDFS
●Ceph
●GlusterFS

3.Ceph
●Ceph是一个分布式存储系统
●具有高扩展、高可用、高性能的特点
●Ceph可以提供对象存储、块存储、文件系统存储
●Ceph可以提供PB级别的存储空间（PB->TB->GB）
—1024G*1024G=1048576G
●软件定义存储作为存储行业的一大发展趋势，已经越来越受到市场的认可

4.Ceph组件
●OSDs（ceph-osd）
—存储设备
●Monitors（ceph-mon）   #过半原理，否则集群崩溃
—集群监控组件
●RadosGateway（RGW，ceph-radosgw）
—对象存储网关
●MDSs（ceph-mds）
—存放文件系统的元数据（对象存储和块存储不需要该组件）
●Client（ceph-common）
—ceph客户端

二、Ceph实验环境准备
步骤一：安装前准备
1）为所有节点配置yum源服务器。
将真机第二阶段素材中的ceph10.iso挂载到/var/ftp/ceph目录，为所有虚拟机提供YUM源

2）为虚拟机添加磁盘：
除了client客户端，所有3台ceph服务器都添加2块20G磁盘。

[root@client ~]# lsblk                 #没有额外磁盘
 [root@node1 ~]# lsblk                  #多了2块磁盘
 [root@node2 ~]# lsblk                  #多了2块磁盘
 [root@node3 ~]# lsblk                  #多了2块磁盘

3）所有主机设置防火墙和SELinux（如果已经关闭，则此步骤可以忽略）

[root@client ~]# firewall-cmd --set-default-zone=trusted
 [root@client ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
 [root@client ~]# setenforce 0[root@node1 ~]# firewall-cmd --set-default-zone=trusted
 [root@node1 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
 [root@node1 ~]# setenforce 0[root@node2 ~]# firewall-cmd --set-default-zone=trusted
 [root@node2 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
 [root@node2 ~]# setenforce 0[root@node3 ~]# firewall-cmd --set-default-zone=trusted
 [root@node3 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
 [root@node3 ~]# setenforce 0

4）配置无密码连接(包括自己远程自己也不需要密码)，在node1操作。

[root@node1 ~]# ssh-keygen   -f /root/.ssh/id_rsa    -N ''
 # -f   后面跟密钥的文件名称（希望创建密钥到哪个文件）
   -N '' 代表不给密钥配置密钥（不能给密钥配置密码）
 [root@node1 ~]# for i in 10  11  12  13
  do
      ssh-copy-id  192.168.4.$i
  done
 #通过ssh-copy-id将密钥传递给192.168.4.10、192.168.4.11、192.168.4.12、192.168.4.13

5）修改/etc/hosts并同步到所有主机。  #  /etc/hosts解析的域名要与本机主机名一致。

[root@node1 ~]# vim /etc/hosts     #修改文件，手动添加如下内容（不要删除文件原有内容）
 ... ...
 192.168.4.10     client
 192.168.4.11     node1
 192.168.4.12     node2
 192.168.4.13     node3将/etc/hosts文件拷贝给所有其他主机（client、node1、node2、node3）
 [root@node1 ~]# for i in client node1  node2  node3
 do
 scp  /etc/hosts   $i:/etc/
 done

6）修改所有节点都需要配置YUM源，并同步到所有主机。

[root@node1 ~]# vim /etc/yum.repos.d/ceph.repo    #新建YUM源配置文件，内容如下
 [mon]
 name=mon
 baseurl=ftp://192.168.4.254/ceph/MON
 gpgcheck=0
 [osd]
 name=osd
 baseurl=ftp://192.168.4.254/ceph/OSD
 gpgcheck=0
 [tools]
 name=tools
 baseurl=ftp://192.168.4.254/ceph/Tools
 gpgcheck=0[root@node1 ~]# yum clean all               #清空缓存
 [root@node1 ~]# yum repolist                #验证YUM源软件数量
 源标识            源名称                    状态
 Dvd                redhat                    9,911
 Mon                mon                        41
 Osd                osd                        28
 Tools            tools                    33
 repolist: 10,013[root@node1 ~]# for i in  client  node1  node2  node3
 do
 scp  /etc/yum.repos.d/ceph.repo   $i:/etc/yum.repos.d/
 done

7）给所有节点安装ceph相关软件包。

[root@node1 ceph-cluster]# for i in node1 node2 node3
 do
     ssh  $i "yum -y install ceph-mon ceph-osd ceph-mds ceph-radosgw"
 done

8）Client主机配置NTP服务器。

[root@client ~]# yum -y install chrony
 [root@client ~]# vim /etc/chrony.conf
     allow 192.168.4.0/24        #大约26行
     local stratum 10            #大约29行(去注释即可)
 [root@client ~]# systemctl restart chronyd

9）node1，node2，node3修改NTP客户端配置。

[root@node1 ~]# yum -y install chrony
 [root@node1 ~]# vim /etc/chrony.conf
 server 192.168.4.10   iburst              #配置文件第二行，手动添加一行新内容
 [root@node1 ~]# systemctl restart chronyd
 [root@node1 ~]# chronyc sources -v        #查看同步结果，应该是^*[root@node2 ~]# yum -y install chrony
 [root@node2 ~]# vim /etc/chrony.conf
 server 192.168.4.10   iburst              #配置文件第二行，手动添加一行新内容
 [root@node2 ~]# systemctl restart chronyd
 [root@node2 ~]# chronyc sources -v            #查看同步结果，应该是^*[root@node3 ~]# yum -y install chrony
 [root@node3 ~]# vim /etc/chrony.conf
 server 192.168.4.10   iburst              #配置文件第二行，手动添加一行新内容
 [root@node3 ~]# systemctl restart chronyd
 [root@node3 ~]# chronyc sources -v       #查看同步结果，应该是^*

--------------------------------------------------------------------
三、部署ceph集群
步骤一：安装部署软件ceph-deploy
1）在node1安装部署工具，学习工具的语法格式。

[root@node1 ~]#  yum -y install ceph-deploy
 [root@node1 ~]#  ceph-deploy  --help
 [root@node1 ~]#  ceph-deploy mon --help

2）创建目录（目录名称可以任意，推荐与案例一致）

[root@node1 ~]#  mkdir ceph-cluster
 [root@node1 ~]#  cd ceph-cluster/

步骤二：部署Ceph集群
1）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件（ceph.conf）。
在ceph.conf配置文件中定义monitor主机是谁。

[root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3
 [root@node1 ceph-cluster]# vim ceph.conf        #不要修改原始内容，在文件末尾添加一行
 rbd_default_features = 1                                       #默认开启COW分层快照的功能 1为打开 0为未打开

2）初始化所有节点的mon服务，也就是启动mon服务。
拷贝当前目录的配置文件到所有节点的/etc/ceph/目录并启动mon服务。

[root@node1 ceph-cluster]# ceph-deploy mon create-initial            #配置文件ceph.conf中有三个mon的IP，ceph-deploy脚本知道自己应该远程谁

3) 在每个node主机查看自己的服务[启动（start）、重启（restart）、关闭（stop），查看状态（status）]

[root@node1 ceph-cluster]# systemctl status ceph-mon@node1
 [root@node2 ~]# systemctl status ceph-mon@node2
 [root@node3 ~]# systemctl status ceph-mon@node3
 #这些服务在30分钟只能启动3次,超过就报错. 
 #StartLimitInterval=30min
 #StartLimitBurst=3
 #在这个文件中有定义/usr/lib/systemd/system/ceph-mon@.service
 #如果修改该文件，需要执行命令# systemctl  daemon-reload重新加载配置

4）查看ceph集群状态（现在状态应该是health HEALTH_ERR）

[root@node1 ceph-cluster]# ceph -s

●错误提示：如果无法成功部署ceph集群，可以通过如下命令清理集群软件以及相关数据（注意，这些操作会删除node1-node3主机的所有ceph软件及配置文件等数据，非必要不要操作！！）。

[root@node1 ceph-cluster]# ceph-deploy  purge  node1  node2  node3
 [root@node1 ceph-cluster]# ceph-deploy  purgedata  node1  node2  node3

步骤三：创建OSD
1) 初始化清空磁盘数据（仅node1操作即可）。
初始化磁盘，将所有磁盘分区格式设置为GPT格式（根据实际情况填写磁盘名称）。

[root@node1 ceph-cluster]# ceph-deploy disk  zap  node1:sdb   node1:sdc   
 [root@node1 ceph-cluster]# ceph-deploy disk  zap  node2:sdb   node2:sdc
 [root@node1 ceph-cluster]# ceph-deploy disk  zap  node3:sdb   node3:sdc  
 #相当于ssh 远程node1，在node1执行parted /dev/sdb  mktable  gpt
 #其他主机都是一样的操作

●  ceph-deploy是个脚本，这个脚本会自动ssh远程自动创建gpt分区

# vim test.sh
 #!/bin/bash
 case $1 in
 user)
      useradd -u 1000 $2;;
 disk)
      parted  /dev/$2  mktable  gpt;;
 esac
 # chmod +x test.sh
 # ./test.sh  user  jerry
 # ./test.sh  disk  vdc

2）创建OSD存储空间（仅node1操作即可）
远程所有node主机，创建分区，格式化磁盘，挂载磁盘，启动osd服务共享磁盘。

● ceph-deploy是个脚本，脚本会自动创建分区、格式化、挂载！

[root@node1 ceph-cluster]# ceph-deploy osd create node1:sdb  node1:sdc
 [root@node1 ceph-cluster]# ceph-deploy osd create node2:sdb  node2:sdc
 [root@node1 ceph-cluster]# ceph-deploy osd create node3:sdb  node3:sdc
 #每个磁盘都会被自动分成两个分区；一个固定5G大小；一个为剩余所有容量
 #5G分区为Journal日志缓存；剩余所有空间为数据盘。

●  验证分区

[root@node1 ~]# df -Th
 [root@node2 ~]# df -Th
 [root@node3 ~]# df -Th

3）在三台不同的主机查看OSD服务状态，可以开启、关闭、重启服务。启动（start）、重启（restart）、关闭（stop），查看状态（status）。

[root@node1 ~]# systemctl status ceph-osd@0
 [root@node2 ~]# systemctl status ceph-osd@2
 [root@node3 ~]# systemctl status ceph-osd@4

● 这些服务在30分钟只能启动3次,超过就报错.

#在这个文件中有定义/usr/lib/systemd/system/ceph-osd@.service
 #如果修改该文件，需要执行命令# systemctl  daemon-reload重新加载配置
 #StartLimitInterval=30min
 #StartLimitBurst=3

步骤四：验证测试
1) 查看集群状态。

[root@node1 ~]#  ceph  -s
 [root@node1 ~]#  ceph   osd   tree