ceph对接OpenStack
1. ceph保存OpenStack的数据
镜像：glance中的image，/var/lib/glance/images/目录下；
卷：cinder中的volume；
虚拟机的磁盘：/var/lib/nova/instances目录下；
2. 对接步骤
1> 创建存储池，只需在一个ceph节点上执行即可
保存镜像：ceph osd pool create images 1024
保存虚拟机磁盘：ceph osd pool create vms 1024
保存卷：ceph osd pool create volumes 1024查看pool列表
ceph osd lspools2> 在ceph集群中创建glance和cinder用户，只需在一个节点上操作即可。OpenStack中用到ceph集群中的glance和cinder服务，因此要创建这两个用户。nova不需要单独创建用户，nova是单独调用底层的kvm libvirt 使得ceph集群直接对接libvirt。
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'
ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'3> 拷贝ceph-ring（令牌环文件）只需在一个ceph节点上操作即可
ceph auth get-or-create client.glance > /etc/ceph/ceph.client.glance.keyring
ceph auth get-or-create client.cinder > /etc/ceph/ceph.client.cinder.keyring使用scp拷贝到其他节点（ceph集群节点和openstack的要用ceph的节点比如compute-node和storage-node，本次对接的是一个all-in-one的环境，所以copy到controller节点即可 ）
4> 更改文件的属主和属组，使得相应的用户可以访问文件。所有客户端节点都需要改， 没有用户则创建相应的用户再进行更改。
chown glance:glance /etc/ceph/ceph.client.glance.keyring
chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring5> 更改libvirt权限，只需在nova-compute节点上操作即可，每个计算节点都做。生成uuid号码，libvirt通过uuid号码调用ceph存储。
uuidgen
940f0485-e206-4b49-b878-dcd0cb9c70a46> 在/etc/ceph目录下创建文件secret.xml文件 （在什么目录没有影响，放到/etc/ceph目录方便管理）
vim /etc/ceph/secret.xml
<secret ephemeral='no' private='no'>
<uuid>940f0485-e206-4b49-b878-dcd0cb9c70a4</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>secret.xml文件相当于一个证书文件，nova利用ceph创建虚拟机，调用kvm虚拟化需要将secret证书创建出来。
生成secret：
virsh secret-define --file secret.xml
导入cinder客户端到文件：
ceph auth get-key client.cinder > ./client.cinder.key
将uuid号码传入到文件：
virsh secret-set-value --secret 940f0485-e206-4b49-b878-dcd0cb9c70a4 --base64 $(cat ./client.cinder.key)所有的计算节点都需要client.cinder.key和secret.xml，
7> 配置glance镜像服务。
因为已经更改了存储方式，先登录到OpenStack将以前的镜像删除，先删掉或解绑所有有关镜像的虚拟机或网络
修改glance镜像配置
vim /etc/glance/glance-api.conf
....
[DEFAULT]
default_store = rbd #默认存储方式改为rbd
[glance_store]
stores = rbd
default_store = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8
......重新启动glance-api服务
systemctl restart openstack-glance-api.service
systemctl status openstack-glance-api.service上传镜像
openstack image create "cirros" --file cirros-0.3.3-x86_64-disk.img --disk-format qcow2 --container-format bare --public在存储池images查看上传的镜像
rbd ls images8> 配置cinder服务，在存储节点进行修改
vim /etc/cinder/cinder.conf
[DEFAULT]
.....
enabled_backends = lvm，ceph #后端存储
.....
[ceph] #ceph驱动
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder
rbd_secret_uuid = 940f0485-e206-4b49-b878-dcd0cb9c70a4
volume_backend_name=ceph重启cinder
控制节点
systemctl restart openstack-cinder-api.service openstack-cinder-scheduler.service存储节点
systemctl restart openstack-cinder-volume.service在图形化创建一个卷，看是否能保存在ceph里面（rbd ls volumes）
9> 配置每个计算节点的nova服务
vim /etc/nova/nova.conf
....
[libvirt]
virt_type=qemu
images_type = rbd #镜像类型
images_rbd_pool = vms #存储池
images_rbd_ceph_conf = /etc/ceph/ceph.conf #存放位置
rbd_user = cinder
rbd_secret_uuid = 940f0485-e206-4b49-b878-dcd0cb9c70a4
......重启nova服务
控制节点
systemctl restart openstack-nova-api.service openstack-nova-consoleauth.service openstack-nova-scheduler.service openstack-nova-compute.service
计算节点
systemctl restart openstack-nova-compute.service10> 验证
创建新的虚拟机，选择不创建新卷
查看块设备
rdb ls vms再创建一台虚拟机，选择创建新卷
在存储池volumes下查看块存储
rbd ls volumes
作者：Ajunyu
出处：
转载注明出处
个人公众号：Ajunyu
---------------------------------------------------
愿今后有酒有肉有姑娘，拿得起欢喜，放得下过往
