镜像下载地址:https://www.proxmox.com/en/downloads
安装过程图解:
1、
Proxmox VE6.0.4最新版集群搭建实录
2、
Proxmox VE6.0.4最新版集群搭建实录
3、
Proxmox VE6.0.4最新版集群搭建实录
4、
Proxmox VE6.0.4最新版集群搭建实录
5、
Proxmox VE6.0.4最新版集群搭建实录
6、
Proxmox VE6.0.4最新版集群搭建实录
7、
Proxmox VE6.0.4最新版集群搭建实录
8、
Proxmox VE6.0.4最新版集群搭建实录
9、浏览器WEB登陆控制台一览
Proxmox VE6.0.4最新版集群搭建实录
ssh登陆上去查看下版本:
Proxmox VE6.0.4最新版集群搭建实录
这里我们依然创建三个结点的集群(PVE1-PVE3,192.168.26.210-212)其它结点安装略配置方法一样。
依然要更新配置下源及系统(看似相同注意版本差异)
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade
Proxmox VE6.0.4最新版集群搭建实录
如果要上传ISO镜,默认的位置展示一下:
Proxmox VE6.0.4最新版集群搭建实录

开始创建pve集群:
pve1上执行:
pvecm create bd-data-center
Proxmox VE6.0.4最新版集群搭建实录
pve2上执行:
root@pve2:~# pvecm add 192.168.26.210
Proxmox VE6.0.4最新版集群搭建实录
注意需要输入密码进行通信认证。
同样PVE3上执行:
root@pve3:~# pvecm add 192.168.26.210
Proxmox VE6.0.4最新版集群搭建实录
查看下此时集群状态:任一结点上执行效果一样(展示两个结点上执行的效果)
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
登陆WEB控制台查看下此时效果:
Proxmox VE6.0.4最新版集群搭建实录
接着安装CEPH存储(三个结点分别安装)
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
初始化ceph集群网段:pveceph init --network 192.168.26.0/22
Proxmox VE6.0.4最新版集群搭建实录
此时若命令查看CEPH状态会报错:pveceph status
Proxmox VE6.0.4最新版集群搭建实录
各结点创建ceph集群存储Mon监控:
pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录
root@pve2:~# pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录
root@pve3:~# pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录
此时查看CEPH状态:
Proxmox VE6.0.4最新版集群搭建实录
Ansible看下各结点吧,其实都一样的。
Proxmox VE6.0.4最新版集群搭建实录
创建mgr三个结点都需要执行
pveceph createmgr #此结点提示已经存在
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
查看WEB控制台此时集群状态:
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Creating Ceph OSDs
创建Ceph OSDs 存储(三个结点执行同样操作)

root@pve1:~# pveceph createosd /dev/sdb
Proxmox VE6.0.4最新版集群搭建实录
在PVE1上执行后马上看下WEB控制台看下此时状态变化情况
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
PVE1上磁盘和配置信息变化情况
Proxmox VE6.0.4最新版集群搭建实录

同样其它两个结点执行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
创建ceph集群存储资源池ceph osd pool create [资源池名称] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
#添加RBD集群存储
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录

#查看rbd集群存储配置信息(集群任一结点查看都一样)

root@pve1:~# cat /etc/pve/storage.cfg
创建前的效果:
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
创建后的效果:
Proxmox VE6.0.4最新版集群搭建实录
添加资源池:dbdata,iscpool,idcpool
Proxmox VE6.0.4最新版集群搭建实录
HA群组创建:ISCVM,IDCVM
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
创建虚拟服务器:
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录

其中遇到的报错解决方法:
root@pve1:~# ceph health detail
Proxmox VE6.0.4最新版集群搭建实录
报错解决方法:ceph osd pool application enable datacenter rbd

Proxmox VE6.0.4最新版集群搭建实录

高可用状态下不能进行克隆操作,否则会出错,出现虚拟机锁住,且无法直接删除的现象。
Proxmox VE6.0.4最新版集群搭建实录

无法删除:
用命令解锁之后即可删除虚拟机。
Proxmox VE6.0.4最新版集群搭建实录

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用状态,再进行克隆操作:

Proxmox VE6.0.4最新版集群搭建实录
Proxmox VE6.0.4最新版集群搭建实录