镜像下载地址：https://www.proxmox.com/en/downloads
安装过程图解：
1、

2、

3、

4、

5、

6、

7、

8、

9、浏览器WEB登陆控制台一览

ssh登陆上去查看下版本:

这里我们依然创建三个结点的集群（PVE1-PVE3,192.168.26.210-212)其它结点安装略配置方法一样。
依然要更新配置下源及系统（看似相同注意版本差异）
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade

如果要上传ISO镜，默认的位置展示一下：

开始创建pve集群：
pve1上执行：
pvecm create bd-data-center

pve2上执行：
root@pve2:~# pvecm add 192.168.26.210

注意需要输入密码进行通信认证。
同样PVE3上执行:
root@pve3:~# pvecm add 192.168.26.210

查看下此时集群状态：任一结点上执行效果一样（展示两个结点上执行的效果）


登陆WEB控制台查看下此时效果：

接着安装CEPH存储（三个结点分别安装）



初始化ceph集群网段：pveceph init --network 192.168.26.0/22

此时若命令查看CEPH状态会报错：pveceph status

各结点创建ceph集群存储Mon监控：
pveceph createmon

root@pve2:~# pveceph createmon

root@pve3:~# pveceph createmon

此时查看CEPH状态：

Ansible看下各结点吧，其实都一样的。

创建mgr三个结点都需要执行
pveceph createmgr #此结点提示已经存在



查看WEB控制台此时集群状态:


Creating Ceph OSDs
创建Ceph OSDs 存储（三个结点执行同样操作）

root@pve1:~# pveceph createosd /dev/sdb

在PVE1上执行后马上看下WEB控制台看下此时状态变化情况


PVE1上磁盘和配置信息变化情况

同样其它两个结点执行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
创建ceph集群存储资源池ceph osd pool create [资源池名称] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128



#添加RBD集群存储

#查看rbd集群存储配置信息(集群任一结点查看都一样）

root@pve1:~# cat /etc/pve/storage.cfg
创建前的效果：


创建后的效果：

添加资源池：dbdata,iscpool,idcpool

HA群组创建：ISCVM,IDCVM


创建虚拟服务器：

其中遇到的报错解决方法：
root@pve1:~# ceph health detail

报错解决方法：ceph osd pool application enable datacenter rbd

高可用状态下不能进行克隆操作，否则会出错，出现虚拟机锁住，且无法直接删除的现象。

无法删除：
用命令解锁之后即可删除虚拟机。

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用状态，再进行克隆操作：