数据中心架构设计方案 数据中心设计方案 实例

目录

一、概述

二、功能要求

(一) 模块化

(二) 软硬件一体化

(三) 自动缩放

(四) 故障切换

(五) 负载平衡

(六) 完整云生命周期管理及虚拟机生命周期管理。

(七) 易扩展、易升级

(八) 易布署、易运维

(九) 高安全、高可靠

三、系统设计

(一) 架构设计

(二) 超融合资源设计

(三) 存储资源池设计

四、主要设备参数

一、概述

本次规划建设数据中心为安全生产业务及企业经营业务服务。数据中心由服 务器、存储设备、备份一体机、交换机等设备组成。

二、功能要求

(一) 模块化

每个节点布署的云计算平台都是一个完整的计算模块，整合应用所需的网络、 存储、服务器、数据采集传输、配电单元等硬件资料和软件资源。

(二) 软硬件一体化

将存储、网络和服务器资源进行合理的整合及调整，充分利用硬件资源和软 件资源组成弹性的云环境，提供高密度的虚拟服务器环境。

(三) 自动缩放

云平台可根据应用的配置自动调整所需资源大小。当出现应用因初始资源分 配不够而导致虚拟机负载过高时，系统可以自动扩展出相同的配置的虚机以实现 负载分担，并在负载下降时可进行资源回收。

(四) 故障切换

提供一套全面的高可用性功能，包括虚拟机和物理机故障切换功能，确保关 键任务应用软件正常运行。

(五) 负载平衡

云平台根据应用的需要动态分配服务资源，实现多台服务器协同工作和并行 处理，极大地提高服务器性能，充分利用网络资源。

(六) 完整云生命周期管理及虚拟机生命周期管理。

云平台提供从应用规划、安装、布署、配置、监控、变更等一整套全生产周 期的云管理门户并对每个虚拟机提供完整的虚拟机生命周期管理，提供虚拟机的 创建、启动、暂停、恢复、休眠、重启、关闭、关闭电源、修改、删除、查询、 资源回收等功能。

(七) 易扩展、易升级

由于用户只知道应用服务的接口，并不知道实现过程，这就相当于给私有云 与用户之前加入了一个中间层。私有云的后端进行变动，则不会将影响传递给前 端，不会影响用户的使用。使得对私有云空间进行扩展、维护、升级带来灵活性， 使得后端的变动影响最小。

(八) 易布署、易运维

云平台利用虚拟化技术打破了“一台服务器一个应用程序”的传统体制，提高软硬件的利用率，实现软硬件资源的高可用性，便于管理，易于维护，能够让 数据中心动态地改善 IT 基础架构的性能和效率，实现应用的快速布署，虚机的 快速布署，备份的快速恢复、应用升级前的测试，升级失败后的快速回退、集中 的性能监控和告警等功能，保持业务的连续性。同时，运维人员可以通过批量修 改功能对云平台内的虚拟机进行批量操作，运维人员可以定期从平台软件中一键 获取某时间段内的运维日志文件以便于归档、汇报。

(九) 高安全、高可靠

云平台为一个客户单独使用而构建的，因而可以对数据安全进行最有效的控 制。煤炭行业私有云平台布署于具有煤炭专网连接的的数据中心中，所以客户内 部员工访问私有云的应用时，体现高可用性。

三、系统设计

(一) 架构设计

数据中心架构如图 5-15 所示。

图 5-15  数据中心架构图

在数据中心部署两台核心交换机，上连工业网及管理网核心交换机，下连服 务器接入交换机，服务器接入交换机提供千兆电口及万兆光口，通过光口与服务 器业务网络连接，通过电口与服务器管理网络连接。服务器区域内提供超融合服务器，为云计算提供计算及存储资源；所有服务器通过万兆光口连接接入交换机 作为业务网络；千兆电口连接接入交换机作为管理网络；通过 2*10G 接口连接接 入交换机作为存储网络，将超融合服务器的硬盘进行池化，提供存储资源。后端 部署一台备份一体机，提供灾备资源。

(二) 超融合资源设计

本次数据中心的虚拟化资源池建设主要以超融合架构为主，根据业务规模选 用服务器部署业务系统，构建以超融合架构为基础的新一代超融合资源集群，以 符合现代化应用开发框架在高性能、高可靠性、弹性扩展及伸缩、简化基础架构 管理等方面的需求，并通过标准化构建的方式，实现未来在自动化故障转移、容 灾、全面优化数据中心软硬件资产、集成智能化运维等方面的信息化目标，从而 实现对业务的快速响应。

超融合系统作为云平台的计算、存储资源平台，为整个煤矿的生产、办公以 及智慧园区的各类业务系统提供资源支撑，整个超融合系统采用 10 算存储融合 节点服务器。

超融合节点采用标准 2U 机架式服务器，每台服务器配置 2 路 2.2GHz/24 核 CPU，256G 内存，48TB 裸容量。10 台共可提供 480 物理 CPU 核，超融合底层消 耗 48 核，剩余 432 核，可以提供 864vCPU；2560G 内存，480TB 裸容量，底层消 耗 18T，按照EC 可靠性部署计算，可提供 248TB 可用容量。超融合资源池共可 提供864vCPU，900G 内存，248TB 存储容量，按照一个虚拟机提供 8vCPU，16G 内存，500G 容量计算，共可提供约 110 台虚拟机，承载生产网、管理网及园区 各类业务系统。

(三) 存储资源池设计

本次数据中心采用分布式共享存储解决方案，主要用于中性能实例化数据库 资源池、中性能虚拟化计算资源池及备份的存储需求。

数据中心超融合系统，采用服务器硬盘资源提供分布式存储，10 台超融合 服务器共部署 4TB 数据盘 80 块，3.84TB 以上 NVMe 缓存加速盘 10 块，共可提供 存储裸容量 480TB，按照 EC 进行可靠性部署，共提供248TB 的可用容量。

配置备份系统，对业务系统及存储数据进行备份，备份采用 LAN-BASE 的备 份方式，通过万兆网络与存储及超融合系统连接，实现数据备份，可实现对超融 合系统及数据库或其他系统设备的无代理备份。备份设备涵盖备份授权和备份介 质硬件。

四、主要设备参数

序号	设备名称	技术参数要求
1	超融合一 体机	1、通过 X86 服务器节点构建，同一节点内实现计算存储融合，不需 要外置 SAN 存储，存储系统为分布式 Server SAN 架构，可配置 2 副 本或 3 副本，满足不同可靠性要求的业务场景； 2、支持存储节点安装虚拟化软件，可以同时提供虚拟机业务和存储 业务； 3、支持横向扩展，当需要更多计算和存储资源时，只需要以服务器 为单位进行扩容，即能实现计算与存储资源的同步扩展； 4、支持硬件自动发现和自动配置，无需人工参与； 5、支持业界主流的数据库部署，包括但不限于 Oracle、Gbase、人 大金仓，达梦,PolarDB 等； 6、支持在统一个管理界面中监控和管理计算、存储、交换机、虚拟 化平台等； 7、支持在统一图形界面上一键式或定期自动输出系统健康巡检报告， 包括 CPU、内存、HDD、SSD、RAID 卡等硬件状态，虚拟化平台，存储 软件，管理软件等部件的健康状态，便于主动识别潜在的风险； 8、支持在统一图形界面上一键式日志收集功能，在需要定位问题时 能够快速收集需要的所有日志信息，包括硬件，虚拟化平台，存储软 件、管理软件； 9、单个集群 (HA 资源池) 的计算节点可扩展至 128 台； 10、支持虚拟机资源调整，根据实际需要修改虚拟机的属性，包括 vCPU 个数、内存大小、硬盘数量和网卡个数； 11、支持虚拟机的 CPU 、内存、存储 的 QoS 设置，满足不同应用的 性能需求； 12、支持内存气泡、内存交换、内存共享等功能，以实现内存复用分 配，提高资源利用率； 13、虚拟交换机级别的用户态交换技术(OVS+DPDK) ，支持高性能网 络转发，提高数据处理性能和吞吐量，提高数据平面应用程序的工作 效率； 14、分布式存储软件构筑在 x86/ARM 标准硬件之上，非开源软件开发， 如不能使用开源 Lustre 和 Ceph 软件等，通过软件层面的去中心化架 构和数据冗余技术，来达到高可伸缩性和高可用性； 15、在全 SSD 配置及 SSD+HDD 混合配置下，均支持 EC (Erasure Code) 算法实现数据冗余存储，支持 2+2,4+2,6+2,8+2 多种冗余配置； 16、支持 EC 缩列，当节点故障时，自动调整 EC 配比，确保数据可靠 性不降级；
		17、允许 2 节点故障而不丢失数据，且存储利用率最高可达80%    18、支持全局自适应重删压缩，可根据业务负载自动在在线重删和后 重删之间进行切换；                                            19、支持在单个存储集群内按服务器维度划分多个存储资源池；支持 图形化界面划分存储资源池，每个存储资源池即为一个故障域，保证 可靠性； 20、当磁盘或者存储节点故障时系统能自动进行数据重构，在无人工 干预的条件下，数据重构速度需最快每TB<15 分钟；提供相应证明资 料； 21、支持卷的快照和回滚，单个卷支持的最大快照数量不少于 2048 个，快照对主机业务性能影响不能超过5%；快照需基于 ROW 模式， 支持秒级快照； 22、支持磁盘亚健康管理功能：支持定期检测磁盘SMART 信息，判断 磁盘亚健康情况(硬盘扇区重映射数超过门限、读错误率统计超标、 慢盘)，并在磁盘损坏前进行隔离并告警； 23、支持 SSD 磨损寿命识别，提前告警及隔离处理；               24、实配所需的超融合软件及 20 颗 CPU 授权；                    25、超融合一体机硬件配置如下：CPU:2 颗，主频≥2.2GHz，每个处 理器≥24 核； 内存： ≥24 个内存槽位，配置≥8*32G 内存，单条要 求≥32G；硬盘配置： ≥2 块 600G SAS 10K HDD， ≥1 块 3200G NVME， ≥8 块 4T 机械盘；网络接口配置： ≥4 个 10GE 光口 (含多模模块) 。
2	核心交换 机	1、转发性能：交换容量≥4.8Tbps，包转发率≥1600Mpps； 2、硬件规格：高度≤1U，固定接口交换机，100GE 光接口≥6 个， 10GE 光端口数量≥48 个； 3、本次实际配置要求：双电源；配置 21 个万兆多模光模块； 4、二层功能：支持 Access、Trunk 和 Hybrid 三种模式；支持 QinQ； 支持动态 MAC、静态 MAC 和黑洞 MAC 表项； 5、三层功能：支持 RIP、OSPF、ISIS、BGP 等 IPv4 动态路由协议； 支持 RIPng、OSPFv3、ISISv6、BGP4+等 IPv6 动态路由协议；支持 BFD for OSPF，BGP，IS-IS，Static Route；支持 IPv6 ND、PMTU 发现； 6、DC 特性：支持 Vxlan，且支持 BGP EVPN 特性； 7、安全性：支持防止 DOS、arp 攻击和 ICMP 攻击；支持 IP、MAC、 端口和 VLAN 的组合绑定； 8、配置和维护：支持 Telemetry；支持 SNMP V1/V2/V3、Telnet、RMON、 SSH；
3	接入交换 机	1、交换容量≥336Gbps，以官网所列最低参数为准；包转发率≥ 108Mpps，以官网所列最低参数为准； 2、24 个千兆电口，4 个万兆 SFP+；实配 4 个万兆多模模块； 3、支持 MAC 地址≥16K；支持 ARP 表项≥4K；支持 RIP、RIPng、OSPF、 OSPFv3 路由协议 ；支持 IPv4 FIB 表项≥4K； 4、基于端口的组播流量统计；支持 CPU 保护功能；支持对端口接收 报文速率和发送报文速率进行限制；支持ERPS 以太环保护协议    (G.8032) ； 5、支持 Telemetry 技术。
4	备份一体 机	1、支持主流操作系统及文件系统备份，包括 Windows、Linux、Unix 下的各操作系统等； 2、支持多平台下的主流数据库和应用在线备份，包括：Oracle、SQL Server、MySQL、Exchange、SharePoint、ERP 等应用； 3、不需要恢复虚拟机备份数据，直接浏览并恢复虚拟机中文件，极 大提高恢复速度并简化恢复操作。支持虚拟化：  VMware、Hyper-V、 Citrix Xen、Red Hat Virtualization、Amazon、Azure、Nutanix Acropolis、OracleVM、OpenStack； 4、提供对虚拟机内的文件和应用提供颗粒恢复能力，整个过程无需 任何脚本； 5、支持 Oracle，Exchange，主流文件系统的数据备份作业和恢复作 业自动从断点继续工作，不需要用户干预； 6、支持文件系统及相关应用连续数据复制保护，并能创建应用一致 点快照，数据丢失少并确保应用一致性，满足用户灾难备份的ROP/RTO 要求，支持一对多，多对一模式。能支持：  Windows、AIX、HP-UX、 Linux、Solaris、Exchange、SQL、AD、Oracle； 7、对利用存储快照及数据块级别备份的文件，不需要恢复就能直接 利用 CIFS/NFS 协议进行共享访问； 8、支持自动恢复演练，通过制定恢复演练策略， 自动完整恢复演练 测试，可恢复到灾备中心的物理机、虚拟机，或者私有云及公有云中； 9、遵循 IPMI2.0、SMBIOS、SAS2.1、ACPI、IP 协议标准； 10、本次配置≥50T 后端数据备份容量使用许可； 11、硬件配置： 2*900W,2*C4215R(8 Core@3.2GHz),4*32GB 内存,2*600GB SAS,12*10T SATA，2*GE+2*10GE。
5	虚拟化软 件	1、虚拟化支持双架构部署，可直接安装在基于 x86 架构或 ARM 架构 的物理服务器上，可利旧现网x86 设备，统一管理； 2、支持虚拟机规格的在线或离线调整，包括 CPU、内存、硬盘、网 卡等资源，支持重启生效； 3、虚拟机支持 BIOS 和 UEFI 启动方式，并且管理员可自定义启动介 质，如网络启动、光驱启动、硬盘启动等，并可精确指定启动顺序， 需提供界面截图； 4、X86 和 ARM 服务器部署时，均可提供虚拟机基本生命周期管理功 能，支持删除、移动、克隆、迁移、VNC 登录、快照、导出、重启、 关闭、强制重启、强制关闭等操作； 5、支持虚拟机 HA，允许配置集群内HA 预留的主机数量， 以保证在 虚拟机故障时有足够的资源进行切换，支持配置存储故障后是 HA 虚 拟机还是不处理； 6、X86 场景支持 GPU 虚拟化，将一个物理 GPU 卡虚拟成多个 vGPU， 满足最新 DirectX、OpenGL 规范的 3D 应用的需求； 7、支持 GPU 设备、SSD 设备直通给虚拟机，软硬结合提升虚拟机的 相关图形处理，存储 IO 等高性能要求； 8、支持以集群为单位设置跨代 CPU 虚拟机热迁移属性．支持同一 CPU 厂商不同CPU 型号服务器组建在同一逻辑集群中,并且支持虚拟机在 不同CPU 型号服务器之间进行业务不中断热迁移； 9、兼容现有市场上主流的存储阵列产品，如 SAN、NAS 和 iSCSI，品 牌包括 EMC、IBM、Huawei、HP、HDS、NetAPP、DELL 等； 10、支持主流的 x86 和 ARM 架构的操作系统，包括 Redhat、Ubuntu、 CentOS、中标麒麟、深度、Fedora 、OpenSUSE 等主流 Linux OS。投 标方应提供查询网站和兼容性列表截图； 11、系统支持“三员分立”的管理运维模式，有系统管理员、安全管 理员、安全审计员的三员角色，满足高安全场景的权限分离要求； 12、支持将管理数据通过 FTP、FTPs、SCP 等协议备份到第三方备份 介质，提升管理数据可靠性； 13、提供数据保护系统，实现虚拟机快照备份与恢复； 14、提供异地容灾策略配置和执行组件，实现业务系统异地容灾保护； 15、实配 20 颗 CPU 授权。