centos 7 部署ceph 集群 ceph集群搭建

ceph集群部署（准备阶段）

1. 配置静态网络（自选）

配置静态IP

2. 配置主机名（必做）

ceph01：

hostnamectl set-hostname ceph01

ceph02：

hostnamectl set-hostname ceph02

ceph03：

hostnamectl set-hostname ceph03

3. 配置域名解析（必做）

这里以ceph01节点为例，其他节点方法相似

vi /etc/hosts

添加以下内容

192.168.100.30  ceph01
192.168.100.40  ceph02
192.168.100.50  ceph03

4. 安装命令补全相关的包（自选）

yum list all | grep bash
yum install bash-completion.noarch  -y
reboot

等待一会儿，再重新连接服务器

5，每台服务器添加一块硬盘（必做）

自行添加

ceph集群部署

1. 配置免密登录(所有存储节点都需执行)

ssh-keygen
ssh-copy-id ceph01
ssh-copy-id ceph02
ssh-copy-id ceph03

2. 更换网络源（所有节点都需要做）并安装ceph软件包

2.1 备份yum源

mkdir /etc/yum.repos.d/ch
mv /etc/yum.repos.d/* /etc/yum.repos.d/ch

2.2 安装阿里源，下载wget等

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y wget
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install yum-plugin-priorities.noarch

2.3配置Ceph源

cat << EOF | tee /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/\$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
EOF

2.4 在所有集群和客户端节点安装Ceph

yum -y install ceph --skip-broke

2.5 在ceph01节点额外安装ceph-deploy

yum install -y python-setuptools 
yum -y install ceph-deploy

2.6 校验版本

ceph-deploy --version

3. 初始化Ceph集群

3.1 在管理点上创建一个目录，以维护为集群生成的配置文件和密钥。

mkdir cluster
cd cluster

3.2 使用ceph-deploy创建集群

ceph-deploy new --public-network 192.168.200.0/24 --cluster-network 192.168.200.0/24 ceph01

这里直接指定cluster-network（集群内部通讯）和public-network（外部访问Ceph集群），也可以在执行命令后修改配置文件方式指定。

3.3 检查当前目录中的输出

3.4 查看ceph配置文件

cat ceph.conf

3.5安装Ceph包到指定节点

参数–no-adjust-repos是直接使用本地源，不生成官方源

ceph-deploy install --no-adjust-repos ceph01 ceph02 ceph03

4. 创建第一个monitor

创建监视器，初始化monitor,并收集所有密钥，官方介绍：为了获得高可用性，您应该运行带有至少三个监视器的生产Ceph集群。

ceph-deploy mon create-initial

4.1 初始化完毕后会自动生成以下几个文件

使用ceph-deploy命令将配置文件和 admin key复制到管理节点和Ceph节点，以便每次执行ceph CLI命令无需指定monitor地址和

ceph.client.admin.keyring。
ceph-deploy admin ceph01 ceph02 ceph03

4.2 查看复制的包

ssh ceph03  ls /etc/ceph

5. 创建第一个manager

ceph-deploy mgr create ceph01

6. 添加OSD盘
   添加6个osd,假设每个节点中都有2个未使用的磁盘/dev/vdb。 确保该设备当前未使用并且不包含任何重要数据。(等待的时间长)

ceph-deploy osd create --data /dev/sdb ceph01
ceph-deploy osd create --data /dev/sdb ceph02
ceph-deploy osd create --data /dev/sdb ceph03

6.1检查集群健康状态

ceph health
ceph health detail

注！如果回显“HEALTH_WARN mon is allowing insecure global_id reclaim” 解决办法：禁用不安全模式

ceph config set mon auth_allow_insecure_global_id_reclaim false

稍后再次查看，ceph status就变成HEALTH_OK了

6.2 查看集群状态详细信息

ceph -s

7. 扩展群集

7.1 添加Monitors

ceph-deploy mon add ceph02
ceph-deploy mon add ceph03

添加了新的Ceph Monitor，Ceph将开始同步Monitor并形成仲裁。可以通过执行以下命令检查仲裁状态：（注意时间同步）

ceph quorum_status --format json-pretty

7.2 添加Managers

ceph-deploy mgr create ceph02 ceph03

在以下输出中可以看到standby Manager

再次检测集群状态

ceph -s

7.3 创建rgw实例

7.3.1 创建RGW的新实例

ceph-deploy rgw create ceph01 ceph02 ceph03

默认情况下，RGW实例将侦听7480端口。

7.3.2 在运行RGW的节点上编辑ceph.conf来更改此端口

vi ceph.conf

修改内容如下：

[client]
rgw frontends = civetweb port=80

7.3.3验证rgb

浏览器访问http://192.168.200.30:7480/，能输出内容就成功

7.4 创建mds实例

ceph-deploy --overwrite-conf mds create ceph01 ceph02 ceph03

7.5 查看osd当前状态

ceph osd tree

7.6 配置删除pool权限

默认创建pool无法执行删除操作，需要执行以下配置

vi ceph.conf

添加如下内容：

[mon]
mon_allow_pool_delete = true

更新配置到所有节点

cd /root/cluster/

ceph-deploy --overwrite-conf config push ceph01 ceph02 ceph03

8. 各个节点重启monitor服务

systemctl restart ceph-mon.target

感谢大家，点赞，收藏，关注，评论！