跳过坑的经验值得大家仔细参考！
不多说， 开始我们的步骤
硬件：
硬件准备（至少三个以上节点，节点不够可使用虚拟机）
节点 | IP | 数据盘（osd） | 角色 |
ceph1 | 192.168.100.2（public） 110.110.100.2（cluster） | osd.1(ssd) osd.2(ssd) | mon,mgr,osd |
ceph2 | 192.168.100.3（public） 110.110.100.3（cluster） | osd.3(ssd) osd.4(ssd) | mon,mgr,osd |
ceph3 | 192.168.100.4（public） 110.110.100.4（cluster） | osd.5(ssd) osd.6(ssd) | mon,mgr,osd |
ceph4 | 192.168.100.5（public） 110.110.100.5（cluster） | osd.7(ssd) osd.8(ssd) | osd |
建议双网口，public为连接集群外部的业务端口，cluster为集群内部的心跳和数据交换端口，public和cluster可使用相同网段，但建议都为独立网卡，每个节点硬盘和硬盘容量大小以及性能最好保持一致，否则容易出现莫名奇妙的错误，老旧硬盘建议先使用硬件raid或zfs组成性能和容量相当的逻辑盘。
1、关闭防火墙和selinux（个人生产环境已在对外端口放置了防火墙，所以主机之间有内部专用交换机连接，对于无防火墙的不建议关闭防火墙，而采取开放端口的策略）：
###不解释了，运行后建议重启服务器
#禁用selinux
setenforce 0
#建议直接使用下面语句后重启服务器
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
#禁用防火墙，firewalld
systemctl stop firewalld && systemctl disable firewalld2、配置服务器之间的免密登陆：
###先每个主机单独ssh-keygen：
ssh-keygen
#然后一路回车直到生成完毕
cp ~/.ssh/{id_rsa.pub,authorized_keys}
###在第一个节点执行：
for i in｛2..4};do scp ceph$i:~/.ssh/id_rsa.pub ~/.ssh/idrsa_$i;done
cat ~/.ssh/idrsa_* >> ~/.ssh/authorized_keys
for i in {2..4};do scp ~/.ssh/authorized_keys $i:~/.ssh/;done
####终极大法（建议）：
#第一个管理节点使用nfs共享home目录，其它节点共享挂载home目录，然后在第一个节点运行下面语句即可；
ssh-keygen
cp ~/.ssh/{id_rsa.pub,authorized_keys}3、配置时间同步（非常重要）：
###所有节点：
yum install -y chrony
systemctl start chronyd && systemctl enable chronyd
#批量执行语句：
for i in {1..4};do ssh $i yum install -y chrony;done
for i in {1..4};do ssh $i systemctl start chronyd && systemctl enable chronyd;done
###第一个节点：
vim /etc/chrony.conf
pool ntp1.aliyun.com iburst
#或
server ntp1.aliyun.com iburst
allow 192.168.100.0/24
allow 110.110.100.0/24
###其他节点：
vim /etc/chrony.conf
server 192.168.100.2 iburst
###如果出现无法连接同步主机的情况，请检查防火墙设置和chrony.keys, 建议注释掉下面这行：
#keyfile /etc/chrony/chrony.keys4、安装ceph，建议使用yum或dnf 安装：
###选择安装可先查看可安装的模块：
yum list | grep ceph
#mon节点需要安装：
yum install ceph ceph-base ceph-mon
#mgr节点需要安装,建议全部安装：
yum install ceph-mgr ceph-mgr-dashboard
#所有需要挂载硬盘的节点都要安装：
yum install ceph-osd
###建议直接全部安装：
yum install ceph-*
##这里是 yum list | grep ceph 中主要的可选择模块：
ceph.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-base.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-common.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-grafana-dashboards.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mds.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr-dashboard.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr-diskprediction-local.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr-k8sevents.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr-modules-core.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mgr-rook.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-mon.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-osd.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-prometheus-alerts.noarch 2:17.2.6-4.el9s @centos-ceph-quincy
##之所以不建议生产环境关闭selinux，因为现在大部分的系统安装都配置了相应selinux的准许模块
ceph-selinux.x86_64 2:17.2.6-4.el9s @centos-ceph-quincy
ceph-volume.noarch 2:17.2.6-4.el9s @centos-ceph-quincy5、从第一个节点进入/etc/ceph目录，配置ceph集群，设置认证keyring及ca证书等
###进入/etc/ceph目录
cd /etc/ceph手动配置集群mon并启动mon节点：
###第一个mon节点
#配置keyring，临时存储在/tmp目录下：
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
### 授权ceph
chown ceph:ceph /tmp/ceph.mon.keyring
### 生成mon.map, fsid 使用uuidgen生成，并与下方ceph.conf文件中的一致
monmaptool --create --add ceph1 110.110.100.2 --add ceph2 110.110.100.3 --add ceph3 110.110.100.4 --fsid 0bd47374-8167-4bbc-bf12-3a59d4ddd50d /tmp/mon.map
chown ceph:ceph /tmp/mon.map
### 建立mon文件夹一般为｛ceph-hostname｝
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-ceph1
### 初始化启动mon节点
sudo -u ceph ceph-mon --cluster ceph --mkfs -i ceph1 --monmap /tmp/mon.map --keyring /tmp/ceph.mon.keyring
###验证mon是否启动
systemctl status ceph-mon@ceph1
ceph -s
##########################################################################
### 配置并启动其它mon节点
for i in {2,3};do scp /etc/ceph/ceph.client.admin.keyring $i:/etc/ceph/;done
for i in {2,3};do scp /tmp/ceph.mon.keyring $i:/tmp/;done
for i in {2,3};do scp /tmp/mon.map $i:/tmp/;done
for i in {2,3};do scp /var/lib/ceph/bootstrap-osd/ceph.keyring $i:/var/lib/ceph/bootstrap-osd/;done
###分别进入另外的mon节点，或直接使用批量执行语句
sudo chown ceph:ceph /tmp/ceph.mon.keyring
sudo -u ceph ceph-mon --cluster ceph --mkfs -i ceph2 --monmap /tmp/mon.map --keyring /tmp/ceph.mon.keyringceph全局配置参考，可只要前面14行，其他可根据自己实际需求设置：
[global]
###fsid可使用uuidgen直接生成
fsid = 0bd47374-8167-4bbc-bf12-3a59d4ddd50d
mon_initial_members = ceph1, ceph2, ceph3
mon_host = 192.168.100.2, 192.168.100.3, 192.168.100.4
cluster_network = 110.110.100.0/24
public_network = 192.168.100.0/24
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_journal_size = 8172
osd_pool_default_size = 3
osd_pool_default_min_size = 2
osd_pool_default_pg_num = 333
osd_pool_default_pgp_num = 333
osd_crush_chooseleaf_type = 1
osd_deep_scrub_interval = 1209600
mon osd full ratio = .90
mon osd nearfull ratio = .80
osd op threads = 8
journal aio = true
journal dio = true
journal queue max ops = 10000
journal queue max bytes = 335544320
filestore queue max ops = 5000
filestore queue committing max ops = 5000
filestore queue max bytes = 1048576000
ms nocrc = true
rbd op threads = 4
rbd cache size = 268435456
rbd cache max dirty = 134217728
rbd cache max dirty age = 5
rbd cache max dirty object = 64
[client]
rbd cache = true
#rbd cache size = 67108864
rbd cache writethrough until flush = true
[mon]
mon_allow_pool_delete = true
mon_clock_drift_allowed = 2
[mgr]
mgr_modules = dashboard6、配置mgr节点，一般在mon节点下启用，可只启用一个，建议2个以上：
###进入第一个mon节点，ceph1为hostname：
ceph mon enable-msgr2
mkdir /var/lib/ceph/mgr/ceph-ceph1
chown ceph:ceph /var/lib/ceph/mgr/ceph-ceph1
ceph-authtool --create-keyring /etc/ceph/ceph.mgr.ceph1.keyring --gen-key -n mgr.ceph1 --cap mon 'allow profile mgr' --cap osd 'allow *' --cap mds 'allow *'
ceph auth import -i /etc/ceph/ceph.mgr.ceph1.keyring
ceph auth get-or-create mgr.ceph1 -o /var/lib/ceph/mgr/ceph-ceph1/keyring
###设置dashboard服务地址和指定服务端口
ceph config set mgr mgr/dashboard/ceph1/server_addr 110.110.100.2
ceph config set mgr mgr/dashboard/ceph1/server_port 28081
###启用dashboard
ceph mgr module enable dashboard
systemctl enable ceph-mon@ceph1 --now
###确认服务已启用
netstat -lntp|grep ceph-mon
###如启用其它mgr节点，其步骤与此相同，但整个集群mgr服务只会在一个节点启用，可使用haproxy将正在启用的几点作为主节点，其它为backup，做高可用
###查看当前mgr服务节点信息：
ceph mgr services
### dashboard 启用ssl：
openssl req -new -nodes -x509 \
-subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650 \
-keyout dashboard.key -out dashboard.crt -extensions v3_ca
ceph dashboard set-ssl-certificate -i dashboard.crt
ceph dashboard set-ssl-certificate-key -i dashboard.key
###或者
ceph dashboard create-self-signed-cert
###开启ssl认证：
ceph config set mgr mgr/dashboard/ssl true
###重启mgr并确认已经使用https：
####配置dashboard访问用户和密码：
#查看已有账户：
ceph dashboard ac-user-show
#配置密码文件并创建新用户admin,可改为自己想要的名字：
vim /etc/ceph/admin.secret
23029402349ASFEwer
#创建admin用户并使用admin.secret文件中的字符串作为密码
ceph dashboard ac-user-create admin -i ./sf admin.secret
###访问ceph mgr services中dashboard后提示的地址，在浏览器中访问并使用创建的用户登陆即可7、集群添加osd；
###从mon节点复制keyring到所有需要挂载osd的节点
for i in {2..4};do scp /var/lib/ceph/bootstrap-osd/ceph.keyring $i:/var/lib/ceph/bootstrap-osd/ceph.keyring;done
chown ceph:ceph /var/lib/ceph/bootstrap-osd/ceph.keyring
######################################
###全新硬盘可直接加入集群：
lsblk
#确认需要添加的磁盘路径后，使用ceph-volume添加；
ceph-volume lvm create --data /dev/sda
ceph-volume lvm create --data /dev/sdb
#其它节点操作相同
###已经使用过的硬盘需要先擦除和zap：
#清除磁盘内容
wipefs -af /dev/sda
#重新zap 该磁盘
ceph-volume lvm zap /dev/sda
#将磁盘加入集群
ceph-volume lvm create --data /dev/sda
########确认硬盘上线
ceph osd tree
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
