文章目录
- 存储概念
- Ceph及组件
- 1 案例1：实验环境
- 步骤一：安装前准备
- 1）所有主机设置防火墙和SELinux
- 2）为所有节点配置yum源服务器。
- 3）所有主机挂载ceph光盘和系统光盘
- 4）配置无密码连接(包括自己远程自己也不需要密码)，在node1操作。
- 5）修改/etc/hosts并同步到所有主机。
- 6）修改所有节点都需要配置YUM源，并同步到所有主机。
- 7）Client主机配置NTP服务器。
- 8）node1，node2，node3修改NTP客户端配置。
- 2 案例2：部署ceph集群
- 2.1 问题
- 步骤一：安装部署软件ceph-deploy
- 步骤二：部署Ceph集群
- 1）给**所有节点安装ceph相关软件包**。
- 2）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件（ceph.conf）。
- 3）==初始化所有节点的mon服务，也就是启动mon服务==
- 4) 在每个node主机查看自己的服务(注意每台主机服务名称不同)
- 步骤三：创建OSD
- 步骤四：验证
返回
存储概念
- 集中分布:所有数据存储在同一设备内
- 分布分布存储
- Lustre
- Hadoop :仍用较多, 大数据使用较多
- FastDFS
- Ceph :企业标准, 超融合,分布式存储
- GlusterFS
Ceph及组件
- Ceph
高扩展, 高可用, 高性能 - 对象存储, 块存储, 文件系统存储
- SDS 软件定义存储
- 遵循过半原则， 一半坏了就不能使用了 ，如由2个osd， 一个就不能用， 3台和4台结果一样
选奇数台才能实现高可用，最少3台osd 做存储
- 官网体系结构ceph document
- ceph-osd 软件包
- osd == 硬盘
- ceph-mon 软件包
- 监控 (健康检查 , 检查服务是否正常)
- 绘制地图(地图文件记录服务地址, 实时检查osd存储状态， 并更新osd存储地图)
1 案例1：实验环境
1.1 问题
准备四台虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能：
- 创建1台客户端虚拟机
- 创建3台存储集群虚拟机
- 配置主机名、IP地址、YUM源
- 修改所有主机的主机名
- 配置无密码SSH连接
- 配置NTP时间同步
- 创建虚拟机磁盘
1.2 方案
使用4台虚拟机，1台客户端、3台存储集群服务器，拓扑结构如图-1所示。
注意：所有主机基本系统光盘的YUM源必须提前配置好。
Ceph组件-mon维护者集群map
- 当数据源不变时， 哈希值永恒不变
[root@proxy ~]# echo test.txt | md5sum
bbfa1f311a5828452b953d1335cbf027 -
[root@proxy ~]#
bbfa1f311a5828452b953d1335cbf027%OSD数量 若osd数量为5 ，取余为0-4 ，当对5取余为0，写入到第一台osd设备， 当取余等于1，写入第二台机器，，
随机写进去， 每个数据拷贝进去， 两外复制两份到其他osd，共有3个副本1.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：安装前准备
1）所有主机设置防火墙和SELinux
[root@client ~]# firewall-cmd --set-default-zone=trusted
[root@client ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@client ~]# setenforce 0
[root@node1 ~]# firewall-cmd --set-default-zone=trusted
[root@node1 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@node1 ~]# setenforce 0
[root@node2 ~]# firewall-cmd --set-default-zone=trusted
[root@node2 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@node2 ~]# setenforce 0
[root@node3 ~]# firewall-cmd --set-default-zone=trusted
[root@node3 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@node3 ~]# setenforce 02）为所有节点配置yum源服务器。
把四台虚拟机全部关机；每台虚拟机都添加一个光驱；
做如下相同操作:
右击虚拟机,选【设置】—【添加】—【CD|DVD驱动器】–【完成】；
点击刚刚新建的光盘[CD|DVD],勾选使用ISO映像文件–[浏览]；
找到自己真机的ceph10.iso加载即可。
添加磁盘：
除了客户端，所有3台ceph服务器都添加2块20G磁盘。
启动所有虚拟机后，查看磁盘情况:
[root@client ~]# lsblk
[root@node1 ~]# lsblk
[root@node2 ~]# lsblk
[root@node3 ~]# lsblk3）所有主机挂载ceph光盘和系统光盘
需要根据实际情况操作，
案例假设是将系统光盘挂载到/media目录，将ceph光盘挂载到/ceph目录。
[root@client ~]# umount /dev/sr0
[root@client ~]# umount /dev/sr1 #未挂载的话会报错
[root@client ~]# mkdir /ceph
[root@client ~]# vim /etc/fstab
/dev/sr0 /ceph iso9660 defaults 0 0 #需要根据实际情况挂载
/dev/sr1 /media iso9660 defaults 0 0 #需要根据实际情况挂载
[root@client ~]# mount -a
[root@client ~]# lsblk
[root@node1 ~]# umount /dev/sr0
[root@node1 ~]# umount /dev/sr1
[root@node1 ~]# mkdir /ceph
[root@node1 ~]# vim /etc/fstab
/dev/sr0 /ceph iso9660 defaults 0 0 #需要根据实际情况挂载
/dev/sr1 /media iso9660 defaults 0 0 #需要根据实际情况挂载
[root@node1 ~]# mount -a
[root@node2 ~]# umount /dev/sr0
[root@node2 ~]# umount /dev/sr1
[root@node2 ~]# mkdir /ceph
[root@node2 ~]# vim /etc/fstab
/dev/sr0 /ceph iso9660 defaults 0 0 #需要根据实际情况挂载
/dev/sr1 /media iso9660 defaults 0 0 #需要根据实际情况挂载
[root@node2 ~]# mount -a
[root@node3 ~]# umount /dev/sr0
[root@node3 ~]# umount /dev/sr1
[root@node3 ~]# mkdir /ceph
[root@node3 ~]# vim /etc/fstab
/dev/sr0 /ceph iso9660 defaults 0 0 #需要根据实际情况挂载
/dev/sr1 /media iso9660 defaults 0 0 #需要根据实际情况挂载
[root@node3 ~]# mount -a4）配置无密码连接(包括自己远程自己也不需要密码)，在node1操作。
[root@node1 ~]# ssh-keygen -f /root/.ssh/id_rsa -N ''
#-f后面跟密钥的文件名称（希望创建密钥到哪个文件）
#-N ''代表不给密钥配置密钥（不能给密钥配置密码）
[root@node1 ~]# for i in 10 11 12 13
do
ssh-copy-id 192.168.4.$i
done
#通过ssh-copy-id将密钥传递给192.168.4.10、192.168.4.11、192.168.4.12、192.168.4.135）修改/etc/hosts并同步到所有主机。
注意：/etc/hosts解析的域名要与本机主机名一致！！！！
[root@node1 ~]# vim /etc/hosts #修改文件，手动添加如下内容（不要删除文件原有内容）
... ...
192.168.4.10 client
192.168.4.11 node1
192.168.4.12 node2
192.168.4.13 node3提示：/etc/hosts解析的域名必须与本机主机名一致！！！
将/etc/hosts文件拷贝给所有其他主机（client、node1、node2、node3）
[root@node1 ~]# for i in client node1 node2 node3
do
scp /etc/hosts $i:/etc/
done6）修改所有节点都需要配置YUM源，并同步到所有主机。
[root@node1 ~]# vim /etc/yum.repos.d/ceph.repo #新建YUM源配置文件，内容如下
[mon]
name=mon
baseurl=file:///ceph/MON
gpgcheck=0
[osd]
name=osd
baseurl=file:///ceph/OSD
gpgcheck=0
[tools]
name=tools
baseurl=file:///ceph/Tools
gpgcheck=0
[root@node1 ~]# yum clean all #清空缓存
[root@node1 ~]# yum repolist #验证YUM源软件数量
源标识 源名称 状态
Dvd redhat 9,911
Mon mon 41
Osd osd 28
Tools tools 33
repolist: 10,013
[root@node1 ~]# for i in client node1 node2 node3
do
scp /etc/yum.repos.d/ceph.repo $i:/etc/yum.repos.d/
done7）Client主机配置NTP服务器。
[root@client ~]# yum -y install chrony
[root@client ~]# vim /etc/chrony.conf
allow 192.168.4.0/24 #修改26行
local stratum 10 #修改29行(去注释即可) 时间服务器在第10层
[root@client ~]# systemctl restart chronyd8）node1，node2，node3修改NTP客户端配置。
systemctl restart chronyd
[root@node1 ~]# vim /etc/chrony.conf
server 192.168.4.10 iburst #配置文件第二行，手动添加一行新内容
[root@node1 ~]# systemctl restart chronyd
[root@node1 ~]# chronyc sources -v #查看同步结果，应该是^*
[root@node2 ~]# vim /etc/chrony.conf
server 192.168.4.10 iburst #配置文件第二行，手动添加一行新内容
[root@node2 ~]# systemctl restart chronyd
[root@node2 ~]# chronyc sources -v #查看同步结果，应该是^*
[root@node3 ~]# vim /etc/chrony.conf
server 192.168.4.10 iburst #配置文件第二行，手动添加一行新内容
[root@node3 ~]# systemctl restart chronyd
[root@node3 ~]# chronyc sources -v #查看同步结果，应该是^*- 查看发现一主机时区不统一, 改
#EDT 时间即美国东部时间。这里要改为北京时间即可：
mv /etc/localtime /etc/localtime.bak
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime2 案例2：部署ceph集群
2.1 问题
沿用案例一，部署Ceph集群服务器，实现以下目标：
- 安装部署工具ceph-deploy
- 创建ceph集群
- 准备日志磁盘分区
- 创建OSD存储空间
- 查看ceph状态，验证
2.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：安装部署软件ceph-deploy
1）在node1安装部署工具，学习工具的语法格式。
[root@node1 ~]# yum -y install ceph-deploy
[root@node1 ~]# ceph-deploy --help
[root@node1 ~]# ceph-deploy mon --help2）创建目录（目录名称可以任意，推荐与案例一致）
[root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster/步骤二：部署Ceph集群
1）给所有节点安装ceph相关软件包。
[root@node1 ceph-cluster]# for i in node1 node2 node3
do
ssh $i "yum -y install ceph-mon ceph-osd ceph-mds ceph-radosgw"
done2）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件（ceph.conf）。
在ceph.conf配置文件中定义monitor主机是谁。
- 不能重复打, 因 ceph.conf的的集群id 将不一样
- 其他node主机没有配置文件
[root@node1 ceph-cluster]# ceph-deploy new node1 node2 node33）初始化所有节点的mon服务，也就是启动mon服务
拷贝当前目录的配置文件到所有节点的/etc/ceph/目录并启动mon服务。
[root@node1 ceph-cluster]# ceph-deploy mon create-initial
#配置文件ceph.conf中有三个mon的IP，ceph-deploy脚本知道自己应该远程谁4) 在每个node主机查看自己的服务(注意每台主机服务名称不同)
[root@node1 ceph-cluster]# systemctl status ceph-mon@node1
[root@node2 ~]# systemctl status ceph-mon@node2
[root@node3 ~]# systemctl status ceph-mon@node3
#备注:管理员可以自己启动（start）、重启（restart）、关闭（stop），查看状态（status）.
#提醒:这些服务在30分钟只能启动3次,超过就报错.
#StartLimitInterval=30min
#StartLimitBurst=3
#在这个文件中有定义/usr/lib/systemd/system/ceph-mon@.service
#如果修改该文件，需要执行命令# systemctl daemon-reload重新加载配置5）查看ceph集群状态（现在状态应该是health HEALTH_ERR）
[root@node1 ceph-cluster]# ceph -s常见错误及解决方法（非必要操作，有错误可以参考）：
如果提示如下错误信息：（如何无法修复说明环境准备有问题，需要重置所有虚拟机）
[node1][ERROR ] admin_socket: exception getting command descriptions: [Error 2] No such file or directory解决方案如下（仅在node1操作）：
1）先检查自己的命令是否是在ceph-cluster目录下执行的！！！！如果确认是在该目录下执行的create-initial命令，依然报错，可以使用如下方式修复。
[root@node1 ceph-cluster]# vim ceph.conf #文件最后追加以下内容
public_network = 192.168.4.0/242）修改后重新推送配置文件:
[root@node1 ceph-cluster]# ceph-deploy --overwrite-conf config push node1 node2 node3
[root@node1 ceph-cluster]# ceph-deploy --overwrite-conf mon create-initial3）如果还出错，可能是准备实验环境时配置的域名解析和主机名不一致！！！
步骤三：创建OSD
- 初始化清空磁盘数据（仅node1操作即可）。
初始化磁盘，将所有磁盘分区格式设置为GPT格式（根据实际情况填写磁盘名称）。
[root@node1 ceph-cluster]# ceph-deploy disk zap node1:sdb node1:sdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node2:sdb node2:sdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node3:sdb node3:sdc
#相当于ssh 远程node1，在node1执行parted /dev/sdb mktable gpt
#其他主机都是一样的操作
#ceph-deploy是个脚本，这个脚本会自动ssh远程自动创建gpt分区思考题？
# vim test.sh
#!/bin/bash
case $1 in
user)
useradd -u 1000 $2;;
disk)
partd /dev/$2 mktable gpt;;
esac
# chmod +x test.sh
# ./test.sh user jerry
# ./test.sh disk sdc执行上面的脚本没有指定账户UID，为什么会自动创建一个UID为1000的用户？
执行上面的脚本没有指定磁盘分区表类型，为什么创建的分区表类型为gpt类型？
上面的脚本如果执行时不给位置变量的参数为怎么样？
2）创建OSD存储空间（仅node1操作即可）
重要：容易将主机名、设备名称输入错误！！！
远程所有node主机，创建分区，格式化磁盘，挂载磁盘，启动osd服务共享磁盘。
[root@node1 ceph-cluster]# ceph-deploy osd create node1:sdb node1:sdc
#每个磁盘都会被自动分成两个分区；一个固定5G大小；一个为剩余所有容量
#5G分区为Journal日志缓存；剩余所有空间为数据盘。
[root@node1 ceph-cluster]# ceph-deploy osd create node2:sdb node2:sdc
[root@node1 ceph-cluster]# ceph-deploy osd create node3:sdb node3:sdc提醒：ceph-deploy是个脚本，脚本会自动创建分区、格式化、挂载！
怎么验证分区了？怎么验证格式化？怎么验证挂载了？
[root@node1 ~]# df -Th
[root@node2 ~]# df -Th
[root@node3 ~]# df -Th思考题：请问lsblk和df命令的区别？
3）在三台不同的主机查看OSD服务状态，可以开启、关闭、重启服务。
[root@node1 ~]# systemctl status ceph-osd@0
[root@node2 ~]# systemctl status ceph-osd@2
[root@node3 ~]# systemctl status ceph-osd@4
#备注:管理员可以自己启动（start）、重启（restart）、关闭（stop），查看状态（status）.
#提醒:这些服务在30分钟只能启动3次,超过就报错.
#StartLimitInterval=30min
#StartLimitBurst=3
#在这个文件中有定义/usr/lib/systemd/system/ceph-osd@.service
#如果修改该文件，需要执行命令# systemctl daemon-reload重新加载配置常见错误及解决方法（非必须操作）。
使用osd create创建OSD存储空间时，如提示下面的错误提示：
[ceph_deploy][ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'可以使用如下命令修复文件，重新配置ceph的密钥文件：
[root@node1 ceph-cluster]# ceph-deploy gatherkeys node1 node2 node3步骤四：验证
- 查看集群状态。
[root@node1 ~]# ceph -s
[root@node1 ~]# ceph osd tree2）常见错误（非必须操作）。
如果查看状态包含如下信息：
health: HEALTH_WARN
clock skew detected on node2, node3…clock skew表示时间不同步，解决办法：请先将所有主机的时间都使用NTP时间同步！！！
Ceph要求所有主机时差不能超过0.05s，否则就会提示WARN。
如果状态还是失败，可以尝试执行如下命令，重启所有ceph服务：
[root@node1 ~]# systemctl restart ceph.target
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
