一. 总概述
通过建设高性能计算机系统的配套存储系统,为气象雷达数据系统的研发、业务运行提供高效、大容量的存储空间,满足模式产品的长时间序列在线存储,支撑模式研发。
二. 项目范围
此次存储系统实施工作包含一套6节点GBase8aMPP集群,目前硬件资源配置,详见下表格。
三. 建设内容
建立一套6节点GBase8a MPP集群环境(见下面的设备清单),包括:安装环境准备与配置、软件安装前检查、集群安装部署、集群安装后的校验和应用连接规划等。
设备清单:一套6节点GBase8a MPP集群
设备型号 | 设备描述(数据节点) | 数量 |
服务器型号 | | 6 |
基本配置 | CPU: 2颗 14Core 及以上 主频2.6GHz以上 内存:256GB及以上 RAID卡:RAID卡cache:1GB 数据节点硬盘:480G SSD 2块+1.2T(1万转及以上) SAS盘 12块 网卡:双口万兆网卡*2块(含模块),双口千兆网卡*2块 冗余电源,风扇 管理网口 | 6台 |
四. 技术方案
4.1.系统结构
6节点GBase8a MPP Cluster集群环境系统结构如下图所示:
4.2.系统布局
GBase8a MPP节点服务器组网划分为3coordinator节点+6data节点的方式,其中3个coordinator节点和data节点复用。6台机器IP地址分配如下:
主机名 | 万兆网IP | 千兆网IP | 用途 |
Node1 | 待定 | 待定 | data节点+coordinator节点 |
Node2 | 待定 | 待定 | data节点+coordinator节点 |
Node3 | 待定 | 待定 | data节点+coordinator节点 |
Node4 | 待定 | 待定 | data节点 |
Node5 | 待定 | 待定 | data节点 |
Node6 | 待定 | 待定 | data节点 |
五.环境配置
5.1.硬件物理部署和网络规划
在实际项目中,首先需要考虑的就是硬件设备的物理部署,一般包括,机柜,电源,主机,硬盘,网卡,交换机等物理设备,另外,物理设备之间的通讯,也需要依靠网络的部署。因此,建议用户在安装操作系统和 GBase 8a MPP Cluster产品前,需要考虑如何进行物理设备的部署和网络规划。
我们以下图为例,说明此项目物理部署和网络规划:
在上图中,包含两个机柜(机柜的电源要保证各自独立供电),机柜中摆放GBase 8a MPP Cluster产品的节点主机和应用服务器,他们之间的网络通过交换机进行通讯,为了保证网络的高效运行,实际项目中的业务网络也需要连接到这两个互备的交换机上。
下面说明硬件物理部署和网络规划的原则:
电源的高可用:两个机柜的电源是独立的,互不影响的,这样遵循了主机供电高可用的原则;
交换机高可用:每个机柜上配置了一台交换机,两个机柜上共包含2台交换机,并且这两台交换机之间是互备的关系,当其中一台交换机发生故障,另一台交换机立即提供服务,遵循了交换机高可用的原则;
节点机器的高可用性:图中用虚线标识出来的6台主机,用于部署GBase 8a MPP Cluster产品。
5.2.服务器IP地址规划
6台主机建议coordinator节点规划3个,data节点6个、其中3台机器coordinator节点和data节点复用。
由于集群JDBC自带自动路由功能,因此在web应用中间件中的JDBC配置URL中可将集群所有coordinator节点均配置到hostlist参数中,以便当有节点离线时,应用连接自动下发到可以使用的集群节点上,不影响应用正常使用集群。
集群各节点IP地址规划目前分配如下,万兆网络IP地址用于数据内部通信使用。
主机名 | 用途 | 万兆网IP | 千兆网IP |
Node1 | 数据节点+管理节点 | 待定 | 待定 |
Node2 | 数据节点+管理节点 | 待定 | 待定 |
Node3 | 数据节点+管理节点 | 待定 | 待定 |
Node4 | 数据节点 | 待定 | 待定 |
Node5 | 数据节点 | 待定 | 待定 |
Node6 | 数据节点 | 待定 | 待定 |
5.3.Raid配置规划
Raid类型 | 划分方式 | 划分后容量 | 用途 |
Raid1 | 2 * 480GB | 约480G | 安装操作系统 |
Raid5
| 12块1.2T SAS盘,可以6块盘做Raid5,再把两个Raid5做Raid0 | 单节点约12TB,6个数据节点共计约72TB | 数据文件存储以及数据日志文件存储(/data) |
参照方案,raid配置参考如下:
考虑操作系统和数据文件存储分离,保障数据安全,将现有磁盘配置2个raid5 (均为物理分区,禁止做逻辑卷)
Raid1:2块SSD盘,用于用户操作系统的安装以及swap分区的分配
raid5:12块SAS盘,可以6块盘做Raid5,再把两个Raid5做Raid0,用于数据的数据存储data盘(raid5)的raid卡条带选择最大的。最小也要1MB以上。不要用默认。
Access Policy:设置为RW
Read Policy:设置为Ahead
Write Policy:设置为Write Back with BBU,允许RAID控制器自动切换为Write Through模式;
IO Policy:操作系统磁盘(RAID1)设置为Direct IO模式,集群安装磁盘(RAID50)设置为Cached IO模式;
其他可采用默认设置。
5.4.操作系统配置规划
集群各节点操作系统均采用Suse12系列 64位版本,版本信息如下:
Description: SUSE Linux Enterprise Server 12 SP4
Release: 12.4
1.采取”桌面”或者”软件工作站点”的方式安装。
2.root用户口令:安装前需与局方确认。建议不要包含特殊符号,字母+数字即可。
3.gbase用户口令:可默认gbase。安装前需与局方确认。
4.语言采用默认 english (后续需手工安装中文支持)。
5.keyboard 选择 U.S.ENGLISH
6.主机名定义 (根据局方定义)
7.时区 选择 世界时间 GMT时间
8.磁盘分区:
sda 480G [swap:128GB boot:960MB 根:剩余的分给根目录]
sdb 5TB [5TB全部分给data]
全部采用ext4 格式化
9.安装方式,桌面或软件工作站, customize now 选择 语言 选择 chinese support
10.操作系统重启后,无需新建用户
11. 需要修改当前日期和时间
12. 设置 enable kdump
5.5.网络配置规划
1.集群千兆网、万兆网地址,等待局方分配规划中。
2.集群节点需配置千兆和万兆网络IP地址(千兆连接办公网,万兆用于集群内部数据交换)万兆、千兆网络均需采用双网卡绑定,绑定模式为主备模式(mode=1),千兆2网口绑定分别连接千兆主备交换机,万兆2网口绑定分别连接万兆兆主备交换机。
3.网卡绑定必须设置成开机自动生效的。
4.千兆、万兆网络不建议配置在同一网段内。如万兆网络使用私网地址,千兆网络使用办公环境地址。
5. 集群服务器、交换机部署在同一个机房及同一个IP局域网段内(或配置在同一vlan中),并避免集群节点的跨交换机级联部署方式。
6. 6台主机建议分置2个不同机柜(同一机房内)。如左机柜3台,右机柜3台。
5.6.端口规划
以下端口号为gbase数据常用端口号,在集群操作系统配置防火墙的前提下,需要开启以下端口保证集群能后正常运行:
端口占用程序 | 端口号 |
gcluster服务 | 5258 |
gnode服务 | 5050 |
syncserver服务 | 5288 |
数据导出程序端口范围 | 6066 – 6165 |
监控agent端口 | 9110 |
采集中心端口 | 9999 |
报警服务端口 | 9111 |
监控web服务端口 | 8080 |
5.7.GBASE数据库版本规划
安装版本:GBase8a MPP v95XX系列版本
集群架构规划:GBASE集群架构规划为6个节点,文件服务器(加载机)复用其中某一节点。
6台主机建议规划3个coordinator节点,6个data节点,其中3个data节点和coordinator节点复用。
5.8.应用连接资源规划
建议业务可以通过接入不同的管理节点以降低单节点压力。
由于集群JDBC自带自动路由功能,因此在web应用中间件中的JDBC配置URL中可将集群所有coordinator节点均配置到hostlist参数中,以便当有节点离线时,应用连接自动下发到可以使用的集群节点上,不影响应用正常使用集群。
以上为网络环境规划,数据库安装前检查、具体步骤,及安装后校验见后续文章。