blob.png blob.png

 上面左边是我的个人微信,如需进一步沟通,请加微信。  右边是我的公众号“Openstack私有云”,如有兴趣,请关注。


引言

    Ceph提供非凡的数据存储可扩展性 - 数以千计的客户端主机或KVM访问PB级到数据级的数据。它为应用程序提供对象存储、块存储、文件系统,存储在一个统一的存储集群中 。Ceph是开源产品可以免费使用,可以部署在经济实惠的商用服务器上。


环境:

系统centos7.4

ceph版本 ceph version 10.2.10

测试服务器为kvm虚拟机(openstack虚拟机)


本篇文章是记录下自己的部署过程,服务器使用kvm虚拟机,只测试功能,服务器分配如下


节点服务cluster network
ceph-1(admin-node)osd.{1,2,},mon.ceph-1eth0:192.168.1.161/24
ceph-2osd.{3,4},mon.ceph-2eth0:192.168.1.162/24
ceph-3osd.{5,6},mon.ceph-3eth0:192.168.1.163/24

每个节点在原来系统盘的基础上增加2块osd盘/dev/vdb 、/dev/vdc,集群共有6个osd进程,3个monitor进程。管理节点用作执行ceph-deploy命令,使用ceph-1节点充当。

环境预检

部署集群之前,需要进行环境准备,这些步骤应当设置于集群所有节点

配置免登陆访问

生成ssh-key

# ssh-keygen

对需要访问的机器进行认证

# ssh-copy-id root@ceph-2   //拷贝到所有节点

关闭防火墙

# systemctl stop firewalld

关闭防火墙自启动

# systemctl disable firewalld

关闭selinux

# setenforce 0

关闭selinux的自启动

# vim /etc/selinux/config

SELINUX=disabled

ntp同步

各osd节点间需要设置时间同步,节点时钟偏差过大会引起pg异常

yum install -y ntp

设置时区为上海:

timedatectl set-timezone Asia/Shanghai

在ntpserver的机器上写入配置文件

# vim /etc/ntp.conf

restrict default nomodify

server  127.127.1.0    

fudge   127.127.1.0 stratum 8

# systemctl start ntpd


在需要同步时间的客户端机器上修改配置文件

# vim /etc/ntp.conf

driftfile /var/lib/ntp/drift

server ceph-1

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys


ntp客户端同样要启动这个服务

# systemctl start ntpd


检查机器的ntp服务

# ntpq -p

注意:如果使用ntpdate 手动同步,需要先将ntpd服务停止。

hostname设置

Cluster Map中会使用主机hostname作为名称表示,因此hostname需要提前规划

hosts添加

每个节点都添加集群所有节点的hosts,ceph.conf配置文件中会使用到,如下是3个节点的hosts

# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.161 ceph-1
192.168.1.162 ceph-2
192.168.1.163 ceph-3

配置ceph源

base和epel源使用阿里源

# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 

#wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

或者163的源: 

# wget -O  /etc/yum.repos.d/CentOS-Base-163.repo http://mirrors

不要指望使用ceph官方源,这里需要使用国内第三方源,比如163的ceph源

#cat /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
enabled=1
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS/
enabled=0
gpgcheck=1
priority=2
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc

注意这里priority可以设置yum源的优先级,如果你其它源中也有ceph软件包,需要保证这里的ceph.repo的优先级priority比其它的高(值越小越高),为此需要安装下面这个软件包,用以支持yum源的优先级

yum -y install yum-plugin-priorities

下面这些依赖包也需要在每个节点都安装

yum install -y yum-utils snappy leveldb gdiskpython-argparse gperftools-libs ntpdate

内核调整

osd进程可以产生大量线程,如有需要,可以调整下内核最大允许线程数

vi /etc/sysctl.conf 
kernel.pid_max = 4194303

# echo 'kernel.pid_max = 4194303' >>/etc/sysctl.conf

安装ceph-deploy工具

ceph-deploy是ceph官方提供的部署工具,它通过ssh远程登录其它各个节点上执行命令完成部署过程,我们可以随意选择一台服务器安装此工具,为方便,这里我们选择ceph-1节点安装ceph-deploy

我们把ceph-1节点上的/data/ceph/deploy目录作为ceph-deploy部署目录,其部署过程中生成的配置文件,key密钥,日志等都位于此目录下,因此下面部署应当始终在此目录下进行

yum install ceph-deploy -y

mkdir -p /data/ceph/deploy

ceph-deploy工具默认使用root用户SSH到各Ceph节点执行命令。为了方便,已经配置ceph-deploy免密码登陆各个节点。如果ceph-deploy以某个普通用户登陆,那么这个用户必须有无密码使用sudo的权限。

安装ceph集群

ceph软件包安装

首先安装ceph软件包到三个节点上。上面我们已经配置好ceph源,因此这里使用--no-adjust-repos参数忽略设置ceph源

# ceph-deploy install --no-adjust-repos ceph-1 ceph-2 ceph-3

创建ceph集群

# ceph-deploy new ceph-1 ceph-2 ceph-3
#上步会创建一个ceph.conf配置文件和一个监视器密钥环到各个节点的/etc/ceph/目录,ceph.conf中会有`fsid`,`mon_initial_members`,`mon_host`三个参数 
#默认ceph使用集群名ceph

Ceph Monitors之间默认使用6789端口通信, OSD之间默认用6800:7300 范围内的端口通信,多个集群应当保证端口不冲突

配置文件

修改ceph-deploy目录/data/ceph/deploy下的ceph.conf

#/data/ceph/deploy/ceph.conf添加如下参数  
osd_journal_size = 5120 
osd_pool_default_size = 2
osd_pool_default_min_size=1

journal默认5G建议1TB数据5G,4T盘设置20G,这个影响性能的

添加mons

我们这里创建三个Monitor

cd /data/ceph/deploy
ceph-deploy mon create ceph-1 ceph-2 ceph-3
#上面命令效果如下
#1.write cluster configuration to /etc/ceph/{cluster}.conf
#2.生成/var/lib/ceph/mon/ceph-ceph-1/keyring
#3.systemctl enable ceph-mon@ceph-1
#4.systemctl start ceph-mon@ceph-1

在一主机上新增监视器时,如果它不是由ceph-deploy new命令所定义的,那就必须把public network加入 ceph.conf配置文件

key管理

为节点准备认证key

ceph-deploy gatherkeys ceph-1 ceph-2 ceph-3
#若有需要,可以删除管理主机上、本地目录中的密钥。可用下列命令:#ceph-deploy forgetkeys

osd创建

创建集群,安装ceph包,收集密钥之后,就可以创建osd了

ceph-deploy osd create ceph-1:vdb ceph-1:vdc ceph-2:vdb ceph-2:vdc ceph-3:vdb ceph-3:vdc  
#可以create多个osd
#如果使用单独的journal盘,可以用这种格式:ceph-1:vdb:/dev/vdf ,意思是在ceph-1上创建一个osd,使用磁盘vdb作为数据盘,osd journal分区从vdf磁盘上划分

每个节点上2个osd磁盘vd{b,c}。如果使用单独的日志盘,一般使用同一个日志盘比如/dev/vdf,使用prepare过程中ceph会自动在/dev/vdf上创建相应的日志分区供osd使用,日志分区的大小由上步骤osd_journal_size 指定
prepare 命令只准备 OSD。在大多数操作系统中,硬盘分区创建后,不用 activate 命令也会自动执行 activate 阶段(通过 Ceph 的 udev 规则)

activate 命令会让 OSD 进入 up 且 in 状态,此命令所用路径和 prepare 相同。在一个节点运行多个OSD 守护进程、且多个 OSD 守护进程共享一个日志分区时,你应该考虑整个节点的最小 CRUSH 故障域,因为如果这个 SSD 坏了,所有用其做日志的 OSD 守护进程也会失效

我们这里直接使用create命令,相当于是prepare + activate

允许3台主机以管理员权限执行 Ceph 命令

ceph-deploy admin ceph-1 ceph-2 ceph-3

需要注意,以上的ceph-deploy命令始终在同一个目录/data/ceph/deploy 下执行,否则会出现配置文件不一致的问题。

最后查看集群状态:

[root@ceph-1 deploy]# ceph -w
    cluster 87fd3c2d-7d79-4857-bebe-bc584dcf7dd6
     health HEALTH_WARN
            too few PGs per OSD (21 < min 30)
     monmap e2: 3 mons at {ceph-1=192.168.1.161:6789/0,ceph-2=192.168.1.162:6789/0,ceph-3=192.168.1.163:6789/0}
            election epoch 8, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e31: 6 osds: 6 up, 6 in
            flags sortbitwise,require_jewel_osds
      pgmap v61: 64 pgs, 1 pools, 0 bytes data, 0 objects
            201 MB used, 209 GB / 209 GB avail
                  64 active+clean
2018-05-24 14:48:31.947364 mon.0 [INF] pgmap v61: 64 pgs: 64 active+clean; 0 bytes data, 201 MB used, 209 GB / 209 GB avail

ceph-deploy常用命令

  • 允许一主机以管理员权限执行 Ceph 命令

ceph-deploy admin {host-name [host-name]...}
#拷贝ceph.conf和client.admin.keyring到远程主机上
  • 把改过的配置文件分发给集群内各主机

ceph-deploy --overwrite-conf config push node{1..3}
  • ceph-deploy执行后的清除

#卸载指定节点上的ceph软件包  
ceph-deploy uninstall {hostname [hostname] ...}
#清除数据   
#如果只想清除 /var/lib/ceph下的数据、并保留Ceph安装包
ceph-deploy purgedata {hostname} [{hostname} ...]
#要清理掉 /var/lib/ceph 下的所有数据、并卸载 Ceph 软件包
ceph-deploy purge {hostname} [{hostname} ...]
  • 清除磁盘操作

#查看某节点上所有磁盘
ceph-deploy disk list {node-name [node-name]...}
#清除指定磁盘上的分区,用于重装ceph集群
#ceph-deploy disk zap {osd-server-name}:{disk-name}
例如: ceph-deploy disk zap ceph-1:/dev/vdb
  • monitor操作

#从某个节点上移除Ceph MON进程
ceph-deploy mon destroy {host-name [host-name]...}
#ceph集群至少需要一个mon进程,但一个mon进程无法保证高可靠性。确保你删除一个监视器后,集群仍能正常工作。

总结

    通过ceph-deploy命令基本上可以很方便快捷的搭建一套ceph集群,在使用之前主要是需要规划好主机名和网络,实际生产环境中应该要考虑ceph的cluster网络和业务网络分离,需要有2个网口。在安装之前有一些预配置比较繁琐,主要是主机间的ssh互信、时间同步、防火墙、yum源更改到国内等。

    ceph-deploy 部署过程主要是:

  •     安装ceph 软件包:

ceph-deploy install ceph-1 ceph-2 ceph-3
  •     创建集群:

ceph-deploy new ceph-1 ceph-2 ceph-3
  •     安装mon:

ceph-deploy mon create  ceph-1 ceph-2 ceph-3
  •     准备认证key:

ceph-deploy gatherkeys  ceph-1 ceph-2 ceph-3
  •     创建osd:

ceph-deploy create osd  ceph-1 ceph-2 ceph-3
  •     赋予主机管理权限:

ceph-deploy admin  ceph-1 ceph-2 ceph-3


    如果忘了子命令,可以通过加-h 查看。