CentOS7.7.1908下部署Ceph分布式存储(上)

原创

WalkingCloud21 2022-03-01 17:44:45 ©著作权

©著作权归作者所有：来自51CTO博客作者WalkingCloud21的原创作品，请联系作者获取转载授权，否则将追究法律责任

CentOS7.7.1908下部署Ceph分布式存储(上)_无密码

如上拓扑环境如下：

10.20.10.215 ceph_admin ceph_admin.walkingcloud.cn 10.20.10.216 node1 node1.walkingcloud.cn10.20.10.217 node2 node2.walkingcloud.cn10.20.10.218 node3 node3.walkingcloud.cn三个node节点均配置了一块数据盘/dev/sdb

1、 nmtui修改四台主机的主机名以第一台为例ceph_admin.walkingcloud.cn，其它主机依次修改

CentOS7.7.1908下部署Ceph分布式存储(上)_centos_03

vi /etc/hosts

添加如下行到/etc/hosts10.20.10.215 ceph_admin ceph_admin.walkingcloud.cn 10.20.10.216 node1 node1.walkingcloud.cn10.20.10.217 node2 node2.walkingcloud.cn10.20.10.218 node3 node3.walkingcloud.cn CentOS7.7.1908下部署Ceph分布式存储(上)_centos_05

2、每台主机配置yum Base源 EPEL源以及ceph源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repowget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoyum makecachevi /etc/yum.repos.d/ceph.repo[ceph]name=cephbaseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/gpgcheck=0priority =1[ceph-noarch]name=cephnoarchbaseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/gpgcheck=0priority =1[ceph-source]name=Ceph source packagesbaseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMSgpgcheck=0priority=1 CentOS7.7.1908下部署Ceph分布式存储(上)_linux_06

3、创建部署 CEPH 的用户ceph-deploy 工具必须以普通用户登录 Ceph 节点，且此用户拥有无密码使用 sudo 的权限，因为它需要在安装软件及配置文件的过程中，不必输入密码。较新版的 ceph-deploy 支持用 --username 选项提供可无密码使用 sudo 的用户名（包括 root ，虽然不建议这样做）。使用 ceph-deploy --username {username} 命令时，指定的用户必须能够通过无密码 SSH 连接到 Ceph 节点，因为 ceph-deploy 中途不会提示输入密码useradd -d /home/admin -m adminecho "Admin@123"|passwd --stdin adminecho -e 'Defaults:admin !requiretty\nadmin ALL = (root) NOPASSWD:ALL' | sudo tee /etc/sudoers.d/admin chmod 0440 /etc/sudoers.d/admin

4、用Ceph用户登录配置SSH免密登录su - adminssh-keygenssh-copy-id admin@node1ssh-copy-id admin@node2ssh-copy-id admin@node3 CentOS7.7.1908下部署Ceph分布式存储(上)_centos_07 为了简单起见，每台都关闭了firewalld防火墙systemctl stop firewalldsystemctl disable firewalld

验证ssh免密登录是否OK

CentOS7.7.1908下部署Ceph分布式存储(上)_无密码_09

5、每台机器均关闭selinux

setenforce 0 sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config CentOS7.7.1908下部署Ceph分布式存储(上)_centos_10

6、管理节点上安装ceph-deploy

su - adminsudo yum install ceph-deploy -y

CentOS7.7.1908下部署Ceph分布式存储(上)_centos_11

7、创建集群mkdir cluster

cd cluster/ceph-deploy new ceph_admin CentOS7.7.1908下部署Ceph分布式存储(上)_centos_12

如下图所示，执行时报错

ceph-deploy new ceph_admin Traceback (most recent call last): File "/bin/ceph-deploy", line 18, in <module> from ceph_deploy.cli import main File "/usr/lib/python2.7/site-packages/ceph_deploy/cli.py", line 1, in <module> import pkg_resourcesImportError: No module named pkg_resources解决办法：sudo yum install python-setuptools -y CentOS7.7.1908下部署Ceph分布式存储(上)_centos_13 修改vi ceph.conf

CentOS7.7.1908下部署Ceph分布式存储(上)_linux_14

public network = 10.20.10.0/23osd pool default size = 38、ceph-deploy在各节点安装 Cephceph-deploy install ceph_admin node1 node2 node3 CentOS7.7.1908下部署Ceph分布式存储(上)_无密码_15 9、初始化monitor监控节点 ceph-deploy mon create-initial10、用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了 ceph-deploy admin ceph_admin node1 node2 node3 CentOS7.7.1908下部署Ceph分布式存储(上)_无密码_18 11、检查节点的磁盘ceph-deploy disk list node1 node2 node312、用 osd create 命令一次完成准备 OSD 、部署到 OSD 节点、并激活它ceph-deploy osd create --data /dev/sdb node1ceph-deploy osd create --data /dev/sdb node2ceph-deploy osd create --data /dev/sdb node3 CentOS7.7.1908下部署Ceph分布式存储(上)_无密码_20 13、查看集群健康状态