组建vSphere数据中心,是一个综合与系统的工程,要对服务器的配置与服务器数量、存储的性能与容量以及接口、网络交换机等方面进行合理的配置与选择。规划vSphere数据中心需要了解两个架构、三个要素。所谓两个架构,即使用共享存储的传统架构,以及使用vSAN存储的超融合架构。所谓三要素,是指vSphere数据中心构成的三个重要组成部分:计算、存储、网络。

在vSphere 6.0及其以前,主要采用传统架构,vSphere数据中心普遍采用共享存储,一般优先选择FC接口,其次是SAS及基于网络的iSCSI。vSphere 6.0及vSphere 6.5可以使用普通的X86服务器、基于服务器本地硬盘、通过网络组成的vSAN存储。

1 规划虚拟化环境注意事项

在规划设计虚拟化环境时,需要遵循如下的原则:

(1)冗余设计:计算资源与网络资源需要有冗余,计算主机有冗余,计算主机配件(电源、CPU、内存、网卡、FC或HBA接口卡),主机到网络交换机、光纤或SAS存储交换机的连接有冗余,网络交换机、存储交换机有冗余。

(2)平衡原则。一个规划良好的数据中心不能存在明显的瓶颈,这表现在服务器之间连接、每台服务器的配置选择(CPU数量与主频高低、内存大小、硬盘接口带宽数量等)、虚拟机网络与出口等。

(3)安全可靠原则。无论是服务器整机还是配件、网络设备、存储等都要选择质量有保证的产品,不能选择二手或拆机件,也不能选择来源不明的产品。内存、网卡等可以选择OEM产品但一定要是全新并且已经测试无问题之后才能选用。

(4)数据备份原则。有备无患。重要的虚拟机、重要的业务系统一定要有备份。对于大多数中小企业,配置3~5台高配置的虚拟化主机、1~2台备份设备即可满足大多数的需求。因为数据中心服务器24小时开机,此时间分为业务时间和备份时间。要在非业务时间段进行备份。

业务时间:正常工作时间或处理业务的时间,此时主要资源要向业务主机倾向。

备份时间:非工作时间或不处理业务的时间,此时主机负载较轻,可以在此时间段内进行数据备份。

大多数备份是通过网络进行的数据备份,此时会占用存储资源和网络带宽。如果备份时间有限(通常在晚上8点之后到第二天早晨7点之前的时间),网络带宽有限或者一台备份设备,不能在此时间备份完成时,可以采用多个备份设备,不同的备份设备备份不同的虚拟机,分担备份任务。

例如某单位数据中心由4台vSAN主机、1台备份服务器组成。4台vSAN主机运行了40多台虚拟机,最初在备份服务器上创建了一台VDP备份设备,使用一段时间发现,该VDP备份设备备份完所有的40台虚拟机需要用14~16小时。后来在备份服务器上再次创建一台VDP备份设备,将备份任务分成两批即可在8小时内完成备份。

2 使用共享存储的虚拟化架构

VMware虚拟化数据中心有两种主流架构。一种是采用传统共享存储的架构,如图1-1-1所示;另一种是基于vSAN无共享存储的超融合架构,如图1-1-2所示。


图1-1-1 传统共享存储架构

简单来说,在传统的vSphere数据中心组成中,虚拟机保存在共享存储而不是服务器本地存储中。ESXi操作系统可以安装到从存储划分的LUN,或仅配置较小的本地硬盘(例如以前旧服务器淘汰下来的小容量硬盘)、U盘或SD卡安装ESXi的系统。从结构上来看,传统数据中心的共享存储是一个“单点故障”及一个“速度瓶颈”节点,为了避免从物理主机到存储(包括存储本身)出现连接故障,一般情况下物理主机到存储的连接以及存储本身都具备冗余,从服务器到存储不存在单点故障。这表现在以下方面。

(1)每台存储配置2个控制器,每个控制器的具备多个接口,同一控制器的不同接口连接到2台独立的存储交换机(FC光纤交换机或SAS交换机)。
(2)每台服务器配置2块HBA接口卡(或2端口的HBA接口卡),每块HBA接口卡(或2端口HBA接口卡的不同端口)连接到不同的存储交换机。
(3)存储磁盘采用RAID-5、RAID-6、RAID-10等磁盘冗余技术,并且在存储插槽中还有“全局热备磁盘”。
(4)为了进一步提高可靠性,还可以配置2个存储,使用存储厂商提供的存储同步复制或镜像技术,实现存储的完全复制。

3 使用vSAN的虚拟化架构

为了解决“速度瓶颈”,一般存储采用8GB或16GB的FC接口,或者6GB或12GB的SAS接口。也有提供万兆iSCSI接口的网络存储,但在大多数传统的vSphere数据中心中,一般采用光纤存储。在小规模的应用中,可以不采用光纤存储交换机,而是将存储与服务器直接相连,当需要扩充更多主机时,可以添加光纤存储交换机。


图1-1-2 无共享存储(超融合架构)

VMware vSAN提供的超融合架构中不配备传统共享存储,而采用服务器本地硬盘组成“磁盘组”。在vSAN架构中以“磁盘组”的方式提供存储数据。磁盘组有混合架构和全闪存架构。在混合架构中,磁盘组的数据以RAID-0的方式组成,冗余数据跨主机以RAID-1的方式组成,整体相当于RAID-10的效果,数据的实际使用率小于并接近50%。在全闪存架构中,冗余数据以RAID-5或RAID-6的方式组成,数据的实际使用率小于并接近于76.9%(RAID-5)、66.7%(RAID-6)。

4 vSAN架构中数据存储关系

在混合架构中,任何一个虚拟机的数据至少是2.1的关系,这里面的2,表示虚拟机硬盘文件VMDK至少有一个完整的备份(2倍冗余);这里面的1表示有1个“见证”文件,类似于校验文件。2个备份文件及1个见证文件保存在不同的主机中。所以vSAN架构至少需要3台主机(每台主机都要提供磁盘组)。根据数据冗余度,最多可以有4个备份及3个见证文件,可以用4.3来表示,这时候需要至少7台主机。可以用2n+1的方式来计算需要的最小主机数,这里面的n表示数据冗余度,最小可以为0(数据不安全),默认值为1,最大为3。在实际的规划中,建议的主机数为2n+1+1,最后一个1为冗余。例如在规划一个最小的vSAN标准群集时,规划主机数最小为4,这样当其中1台主机出现故障时,仍然有足够的冗余。

在全闪存架构中,最小主机数为4(相当于4台主机组成RAID-5),此时有一个数据冗余(任意一台主机出现故障时数据安全不受影响)。如果需要两个数据数据冗余最少需要6台主机(相当于6台主机组成RAID-6,任意两台主机出现故障数据不受影响)。同理,为了具有更高的安全性,要达到RAID-5效果时建议最少5台主机;要达到RAID-6效果时建议最少7台主机。

从图1-1-1与图1-1-2可以看出,无论是传统数据中心还是超融合架构的数据中心,用于虚拟机流量的“网络交换机”可以采用同一个标准进行选择。物理主机的选择,如果是在传统数据中心中,可以不考虑或少考虑本机磁盘的数量;如果采用超融合架构,则尽可能选择支持较多盘位的服务器。物理主机的CPU、内存、本地网卡等其他配置,选择可以相同。最后,传统架构中需要为物理主机配置FC或SAS HBA接口卡,并配置FC或SAS存储交换机;超融合架构中需要为物理主机配置万兆以太网网卡,并且配置万兆以太网交换机。

5 有备无患,备份设备至关重要

一个完整的数据中心除了要规划配置服务器、存储、网络设备外,还要规划配置备份设备。在具备了这四点之后才是一个功能齐全的系统。备份设备在整个系统架构中重要性毋庸置疑。在大多数的情况下,备份可能一年、两年甚至多年不用,但只要出现问题从备份恢复是,都是“救命”的应用。

备份,即可以采用专业的备份设备,也可以使用普通X86的物理服务器,通过添加多块硬盘,使用虚拟机备份软件(例如VMware的VDP、第三方的例如Veeam)备份环境中的虚拟机。

无论是传统的共享存储架构还是较新的vSAN架构,都需要为数据中心配置备份设备,用来备份重要的虚拟机及应用数据,当出现灾难故障、误操作或病毒感染导致重要系统不能启动或重要数据丢失时,从备份恢复。图1-1-3是某使用共享存储的虚拟化环境增加了备份设备的网络拓扑图,图1-1-4是某4节点vSAN群集添加了一台DELL R740XD用做备份设备。


图1-1-3 使用共享存储的传统架构添加备份设备


图1-1-4 vSAN架构添加独立备份服务器

6 使用共享存储的虚拟化架构示例配置

在使用共享存储的传统虚拟化架构中,推荐最小使用3台主机加1台共享存储,当主机数量超过4台以上需要使用光纤存储交换机连接主机与存储。在本示例中规划了4台虚拟化主机(每台主机配置2个CPU、256GB内存、1块240GB硬盘安装ESXi、2块8GB FC HBA接口卡、双电源)、1台联想V3700存储(配置2个控制器、每个控制器4个光纤接口、添加24块900GB的硬盘)、1台DELL R730XD服务器用于备份(配置1个CPU、12个4TB硬盘),该项目所用产品清单及参考报价如表1-1-1所列。

表1-1-1 使用4台主机、1台存储、1台备份设备的虚拟化清单

【说明】(1)每台主机标配1条16GB的内存,要为每台主机扩充到256GB,需要为每台主机添加15条16GB内存,也可以为每台主机配置8条32GB或4条64GB内存,DELL R730支持单条最大为64GB的内存,目前性价比最高的是单条64GB的内存。如果选择单条16GB内存,4台服务器需要添加60条16GB内存。
(2)每台主机添加2块单口FC HBA接口卡,4台服务器需要配置8块。
(3)产品报价受区域、不同经销商,以及不同时期等因素影响,价格波动较大,本报价仅供参考。

7 使用vSAN群集的虚拟化架构示例配置

在vSAN架构中,推荐至少配置4台主机。在本示例中,配置了4台虚拟化主机、1台备份主机。其中每台虚拟化主机配置2个CPU、256GB内存、1块120GB的普通SSD系统安装系统、2块企业级SSD用作缓存磁盘、10块900GB用作数据磁盘,同时为每台主机配置了2块2端口万兆网卡(其中2个端口用于vSAN、2个端口用于虚拟化主机管理及虚拟机网络)备份主机也配置万兆网卡,这可以提高备份的速度。本示例产品清单如表1-1-2所示。

表1-1-2 4节点vSAN主机虚拟化产品清单

【说明】(1)在表1-1-2中配置了9块2端口万兆网卡,其中每台虚拟化主机使用2块,备份服务器使用1块。(2)万兆网卡及万兆网络交换机默认不配光纤模块,所以光纤模块需要另配。9块2端口万兆网卡共18个端口,交换机再配18个光模块,一共36个光纤模块。

8 共享存储与vSAN存储参数对比

以前两节的配置为例,总结统计共享存储与vSAN存储两种不同架构的参数,可以得出具有4台主机某虚拟化环境的初期组建成本及总的CPU、内存及存储空间如表1-1-3所列。

表1-1-3 某4台主机组成的虚拟化环境CPU、内存与存储空间参数

接下来我们看一下后期虚拟化环境中扩展成本。如果要扩充内存,则只需要为每台主机增加内存即可。本节介绍存储的扩容。对于使用共享存储的传统虚拟化架构,如果原来存储已经没有硬盘位,要对存储扩容,需要添加存储扩展柜。IBM V3700系列磁盘扩展柜型号与配置如下:

(1)V3700 LFF 扩展柜 编号:6099LEU
( 大盘扩展柜,123.5英寸硬盘插槽,共46Gb mini SAS 接口,双电源)
(2) V3700 SFF 扩展柜 编号;6099SEU
(小盘扩展柜,242.5英寸硬盘插槽,共46Gb mini SAS 接口,双电源)
(3)LENOVO Storage V3700V2或V3700V2 XP LFF 扩展柜 编号:6535EN1
(大盘扩展柜,123.5英寸硬盘插槽,共412Gb mini SAS 接口,双电源)
(4)LENOVO Storage V3700V2或V3700V2 XP SFF 扩展柜 编号:6535EN2
(小盘扩展柜,242.5英寸硬盘插槽,共412Gb mini SAS 接口,双电源)

在本示例中,如果要为存储扩展24个900GB的硬盘,采用V3700V2 2.5英寸(编号6535EN2)扩展柜,其扩展费用如下:
V3700V2 2.5英寸(编号6535EN2)磁盘扩展柜 1台,33500元;存储专用900GB磁盘 24块,费用93600元。两者总计12.71万元。
在vSAN存储架构中,如果要将现有存储空间增加1倍,可以为每台主机增加2块PCI-E接口固态硬盘、添加10块900GB的数据硬盘,固态硬盘合计37,600,数据硬盘合计70,000,总计10.76万元。

9 vSAN 与传统存储的区别

尽管 vSAN 与传统存储阵列具有很多相同特性,但它的整体行为和功能仍然有所不同。例如,vSAN 可以管理 ESXi 主机,且只能与 ESXi 主机配合使用。一个 vSAN 实例仅支持一个群集。

vSAN 和传统存储还存在下列主要区别。
(1)vSAN 不需要外部网络存储来远程存储虚拟机文件,例如光纤通道 (FC) 或存储区域网络 (SAN)。
(2)使用传统存储,存储管理员可以在不同的存储系统上预先分配存储空间。vSAN 会自动将 ESXi 主机的本地物理存储资源转化为单个存储池。这些池可以根据服务质量要求划分并分配到虚拟机和应用程序。
(3)vSAN 没有基于 LUN 或 NFS 共享的传统存储卷概念。
(4)iSCSI 和 FCP 等标准存储协议不适用于 vSAN。
(5)vSAN 与 vSphere 高度集成。与传统存储相比,vSAN不需要专用的插件或存储控制台。可以使用 vSphere Web Client 部署、管理和监控 vSAN。
(6)不需要专门的存储管理员来管理 vSAN,vSphere 管理员即可管理 vSAN 环境。
(7)使用 Virtual SAN,在部署新虚拟机时将自动分配虚拟机存储策略。可以根据需要动态更改存储策略。