【编者按】

---本篇文章导读---


VMware vSAN是一款灵活的超融合软件,得益于vSphere成熟而且广泛的生态链,vSAN支持至少14种不同的服务器品牌,拥有至少160多个经过预先认证的 vSAN 就绪节点(Ready Nodes)。另一重要的信息是,由于VMware在私有云无可争议的王者地位,许多新硬件技术出现,都希望能尽快通过vSphere或vSAN的认证。因此,相比传统外置磁盘阵列,vSAN能在较早的时间兼容新的硬件技术。原来有SATA/SAS SSD,后来又有PCIe SSD和NVMe SSD,未来会有NVDIMM SSD(性能将达到SAS SSD的3~6倍)。


如果用户的业务应用是IOPS密集型,可以考虑采用NVMe SSD。

如何选择NVMe SSD,可以参考如下步骤:


一、打开vSAN HCL

http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan


如果上面的地址难记,可以采用我的同事-苏旭提供的,非常容易记忆的网址(兼容性 的全拼):

http://www.jianrongxing.com/


进入后,打开位于网页右边,中部位置的

Build Your Own based on Certified Components


二、

1、选择SSD

2、选择NVMe

3、可以选择,也可以不选择。此处Endurance表示耐久性,也即SSD的寿命。

4、可以,也可以不选择。此处Performance表示性能,指SSD每秒写次数。

Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_闪存

---Begin---


在今年8月29日至9月1日于拉斯维加斯举行的VMworld大会上,两位来自Intel的存储解决方案架构师John Hubbard与Chuck Brown发表了“Real World Guidance for Implementing VMware Virtual SAN from Ready Nodes to Build Your Own”的主题演讲,分享了他们在实际工作中构建Virtual SAN的经验。

在VMworld 2015,Intel发布了世界上第一套以NVMe为缓存层,SATA SSD为容量层构建的64节点全闪存Virtual SAN集群性能数据。通过使用Intel最新的NVMe SSD,64节点的全闪存Virtual SAN IOPS性能达到了令人难以置信的670万IOPS,单节点的IOPS突破了10万。


那么问题来了,在VMware Virtual SAN 6.2增加了对去重,压缩以及纠删码的支持以后,是否进一步提高Virtual SAN的性价比与可用性?

Intel的测试结果表明,全NVMe闪存构建的Virtual SAN 6.2与VMworld 2015发布的测试数据相比,获得了50%的性能提升。此外,在同样的业务场景下启用去重/压缩功能后Virtual SAN的实际容量使用率提升了多达7倍。

为什么使用NVMe?NVMe 全称 Non-Volatile Memory Express,即非易失性存储。NVMe 设备以标准尺寸的PCI Express扩展卡的形式直接面向PCI-E接口,原生与CPU直接连接,而不是传统方式,通过南桥控制器中转,再连接到CPU。这在很大程度上突破了SATA与SAS在传输接口上的瓶颈,降低了控制器和软件接口部分的延迟。

此外,理论上IOPS=队列深度/IO延迟,故IOPS的性能与队列深度有很大关系。传统的SSD最大队列深度一般不超过128,而NVM而标准下,最大队列深度可达64000。因此,理论上采用NVMe接口的SSD性能相比传统接口会有成百上千倍的提高。如图一、二所示,我们在同样的测试环境下分别使用不同类型接口的SSD进行存储性能测试,使用NVMe作为传输接口的SSD在随机IOPS以及顺序带宽上相比传统的SAS与SATA接口都有成倍的性能提升。


Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_闪存_02


图一 NVMe与传统传输接口的存储性能对比(随机IOPS)


Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_闪存_03

图二 NVMe与传统传输接口的存储性能对比(顺序带宽)

VMware在Virtual SAN 6.2中加入了对NVMe设备的支持,这使得在全闪存架构中使用全NVMe闪存成为可能。全NVMe闪存Virtual SAN集群全NVMe闪存Virtual SAN集群由8台SuperMicro服务器组成,每台服务器的具体配置信息如下:双路Intel Xeon E5-2687Wv4(12核@3.0Ghz)256GB DDR4内存Virtual SAN节点由4个磁盘组构成,每个磁盘组的信息如下:

  • 1x Intel SSD DC P3700系列(800GB, 2.5’’)
  • 5x Intel SSD DC P3520系列(2000GB, 2.5’’)

网卡基于万兆网络(2块)ESXi软件版本为最新的6.2,安装在独立的驱动盘上。在将8台服务器添加进Virtual SAN集群后,总计裸闪存空间为345TB。其中Virtual SAN缓存层容量为25TB,容量层为320TB。测试介绍为了全面测试全NVMe闪存架构Virtual SAN的性能,我们在以下四种不同的配置环境下进行了性能测试,包括:

  • 高性能模式:关闭去重/压缩,只启用镜像模式RAID 1
  • 平衡模式:启用去重/压缩,启用镜像模式RAID 1
  • 高容量模式:启用去重/压缩,启用纠删码RAID 5
  • 高可用性模式:启用去重/压缩,启用纠删码RAID 6


为了便于对比,我们将高性能模式做为测试基准。在测试中,我们在Virtual SAN数据存储上部署了2000台Windows 2012 R2虚拟机,每台虚拟机的具体配置如下:

虚拟硬件配置

具体参数

CPU

1  vCPU

内存

4GB

OS盘

40GB精简置备

数据盘

10GB厚置备


测试的工作负载由业界标准存储性能测试工具生成。每次测试运行3小时,以确保实际性能数据真实有效。

测试结果经过测试,8节点全NVMe闪存架构Virtual SAN的平均IOPS达到了难以置信的120万,这意味着平均每个节点的IOPS达到了破纪录的15万!相比先前全闪存配置单节点的10万IOPS增加了50%!

Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_闪存_04

图三 8节点全NVMe闪存架构Virtual SAN集群在不同模式下的性能

如图三所示,在基准的高性能模式下,整个Virtual SAN集群的4K 100%全读IOPS达到了最大值120万,在4K 70/30读写模型可达到90万;在平衡模式下,IOPS为基准的89%,但却多出了额外250%的实际可用容量;在高容量模式下,4K 70/30读写模型的IOPS为基准的55%,而4K全读的IOPS为基准的78%。但是实际的有效可用容量比基准模式增加了376%;在RAID 6的高可用性模式下,4K 70/30读写模型IOPS为基准的41%,而4K全读的IOPS为基准的76%。但与此换来的是333%的实际可用容量和额外的组件故障情况下的数据可用性。

同样让人印象深刻的还有数据存储集群的构建成本,由于Virtual SAN 6.2针对全闪存新增的去重和压缩功能,实际有效容量增加了7倍,实际每GB的成本从1.86美元下降到了0.25美元。

Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_闪存_05

图四 不同配置模式下的数据可用性与成本开销

成本计算分为每GB成本,和每个I/O的成本,以美元计价。如图四所示,在基准的高性能模式下,实际每GB的成本为1.86美元,根据4K 100%全读计算出每个IOPS的I/O成本为0.23美元。与高性能模式的基准值相比较,在平衡模式下,实际每GB成本为0.37美元,I/O成本为0.25美元;在高容量模式下,实际每GB成本为0.25美元,I/O成本为0.29美元;在高可用性模式下,实际每GB成本为0.28美元,I/O成本为0.29美元。总结虽然在测试中我们将Virtual SAN配置为四种不同的模式分别进行了性能测试和存储成本比较。但是在实际的生产测试环境中,通过Virtual SAN基于存储策略的管理(Storage Policy Based Management,SPBM)可以针对不同的业务应用需求对虚拟机的VMDK在线应用不同的存储策略。这使得用户在投入相同成本的前提下,可以在高性能、高容量、高可用性之间获得最佳的平衡。

由于Virtual SAN本身具有优异的横向扩展能力,通过使用NVMe SSD构建全闪存架构Virtual SAN,可以使用户使用更少的节点获得所需的集群存储性能。此外,单节点15万IOPS的线性存储性能提升也帮助用户在横向扩展Virtual SAN集群存储性能时变得更加简洁迅速。说明本文内容由VMware中国研发中心存储与高可用性事业部Virtual SAN解决方案团队(Product Enablement, PE)丁楠根据VMworld主题演讲整理发布。Virtual SAN解决方案团队致力于向客户提供最佳的Virtual SAN与行业关键应用融合解决方案,并承担Virtual SAN产品、技术和解决方案在中国地区的推广与技术支撑任务。


---End---


微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware VSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据,甚至生活类的好文章。欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。

欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。

Intel测试报告:NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS_数据_06

关注后,可以通过点击左下角的“文章目录”,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。


---备注---

---推荐书籍---

更多业务应用的性能数据,以及最佳实践,可以到VMware研发中心新出的《Virtual SAN最佳实践》里找到。