一. 总概述

通过建设高性能计算机系统的配套存储系统,为气象雷达数据系统的研发、业务运行提供高效、大容量的存储空间,满足模式产品的长时间序列在线存储,支撑模式研发。

二. 项目范围

此次存储系统实施工作包含一套6节点GBase8aMPP集群,目前硬件资源配置,详见下表格。

三. 建设内容

建立一套6节点GBase8a MPP集群环境(见下面的设备清单),包括:安装环境准备与配置、软件安装前检查、集群安装部署、集群安装后的校验和应用连接规划等。
设备清单:一套6节点GBase8a MPP集群

设备型号

设备描述(数据节点)

数量

服务器型号

 

6

基本配置

CPU: 2颗 14Core 及以上 主频2.6GHz以上

内存:256GB及以上

RAID卡:RAID卡cache:1GB

数据节点硬盘:480G SSD 2块+1.2T(1万转及以上) SAS盘 12块

网卡:双口万兆网卡*2块(含模块),双口千兆网卡*2块

冗余电源,风扇

管理网口

6台

四. 技术方案

4.1.系统结构

6节点GBase8a MPP Cluster集群环境系统结构如下图所示:

南大通用GBase 8a在数据实时传输系统中的解决方案(上)_机柜

4.2.系统布局

GBase8a MPP节点服务器组网划分为3coordinator节点+6data节点的方式,其中3个coordinator节点和data节点复用。6台机器IP地址分配如下:

主机名

万兆网IP

千兆网IP

用途

Node1

待定

待定

data节点+coordinator节点

Node2

待定

待定

data节点+coordinator节点

Node3

待定

待定

data节点+coordinator节点

Node4

待定

待定

data节点

Node5

待定

待定

data节点

Node6

待定

待定

data节点

五.环境配置

5.1.硬件物理部署和网络规划

在实际项目中,首先需要考虑的就是硬件设备的物理部署,一般包括,机柜,电源,主机,硬盘,网卡,交换机等物理设备,另外,物理设备之间的通讯,也需要依靠网络的部署。因此,建议用户在安装操作系统和 GBase 8a MPP Cluster产品前,需要考虑如何进行物理设备的部署和网络规划。
我们以下图为例,说明此项目物理部署和网络规划:

南大通用GBase 8a在数据实时传输系统中的解决方案(上)_机柜_02

在上图中,包含两个机柜(机柜的电源要保证各自独立供电),机柜中摆放GBase 8a MPP Cluster产品的节点主机和应用服务器,他们之间的网络通过交换机进行通讯,为了保证网络的高效运行,实际项目中的业务网络也需要连接到这两个互备的交换机上。
下面说明硬件物理部署和网络规划的原则:
电源的高可用:两个机柜的电源是独立的,互不影响的,这样遵循了主机供电高可用的原则;
交换机高可用:每个机柜上配置了一台交换机,两个机柜上共包含2台交换机,并且这两台交换机之间是互备的关系,当其中一台交换机发生故障,另一台交换机立即提供服务,遵循了交换机高可用的原则;
节点机器的高可用性:图中用虚线标识出来的6台主机,用于部署GBase 8a MPP Cluster产品。

5.2.服务器IP地址规划

6台主机建议coordinator节点规划3个,data节点6个、其中3台机器coordinator节点和data节点复用。
由于集群JDBC自带自动路由功能,因此在web应用中间件中的JDBC配置URL中可将集群所有coordinator节点均配置到hostlist参数中,以便当有节点离线时,应用连接自动下发到可以使用的集群节点上,不影响应用正常使用集群。
集群各节点IP地址规划目前分配如下,万兆网络IP地址用于数据内部通信使用。

主机名

用途

万兆网IP

千兆网IP

Node1

数据节点+管理节点

待定

待定

Node2

数据节点+管理节点

待定

待定

Node3

数据节点+管理节点

待定

待定

Node4

数据节点

待定

待定

Node5

数据节点

待定

待定

Node6

数据节点

待定

待定

5.3.Raid配置规划

Raid类型

划分方式

划分后容量

用途

Raid1

2 * 480GB

约480G

安装操作系统

Raid5

 

12块1.2T SAS盘,可以6块盘做Raid5,再把两个Raid5做Raid0

单节点约12TB,6个数据节点共计约72TB

数据文件存储以及数据日志文件存储(/data)

参照方案,raid配置参考如下:
考虑操作系统和数据文件存储分离,保障数据安全,将现有磁盘配置2个raid5 (均为物理分区,禁止做逻辑卷)
Raid1:2块SSD盘,用于用户操作系统的安装以及swap分区的分配
raid5:12块SAS盘,可以6块盘做Raid5,再把两个Raid5做Raid0,用于数据的数据存储data盘(raid5)的raid卡条带选择最大的。最小也要1MB以上。不要用默认。
Access Policy:设置为RW
Read Policy:设置为Ahead
Write Policy:设置为Write Back with BBU,允许RAID控制器自动切换为Write Through模式;
IO Policy:操作系统磁盘(RAID1)设置为Direct IO模式,集群安装磁盘(RAID50)设置为Cached IO模式;
其他可采用默认设置。

5.4.操作系统配置规划

集群各节点操作系统均采用Suse12系列 64位版本,版本信息如下:
Description:    SUSE Linux Enterprise Server 12 SP4
Release:    12.4
1.采取”桌面”或者”软件工作站点”的方式安装。
2.root用户口令:安装前需与局方确认。建议不要包含特殊符号,字母+数字即可。
3.gbase用户口令:可默认gbase。安装前需与局方确认。
4.语言采用默认 english (后续需手工安装中文支持)。
5.keyboard  选择 U.S.ENGLISH
6.主机名定义 (根据局方定义)
7.时区 选择 世界时间   GMT时间
8.磁盘分区:
sda  480G    [swap:128GB boot:960MB 根:剩余的分给根目录]
sdb  5TB     [5TB全部分给data]
全部采用ext4 格式化
9.安装方式,桌面或软件工作站, customize now  选择 语言 选择 chinese support
10.操作系统重启后,无需新建用户
11. 需要修改当前日期和时间
12. 设置 enable kdump

5.5.网络配置规划

1.集群千兆网、万兆网地址,等待局方分配规划中。
2.集群节点需配置千兆和万兆网络IP地址(千兆连接办公网,万兆用于集群内部数据交换)万兆、千兆网络均需采用双网卡绑定,绑定模式为主备模式(mode=1),千兆2网口绑定分别连接千兆主备交换机,万兆2网口绑定分别连接万兆兆主备交换机。
3.网卡绑定必须设置成开机自动生效的。
4.千兆、万兆网络不建议配置在同一网段内。如万兆网络使用私网地址,千兆网络使用办公环境地址。
5.  集群服务器、交换机部署在同一个机房及同一个IP局域网段内(或配置在同一vlan中),并避免集群节点的跨交换机级联部署方式。
6.  6台主机建议分置2个不同机柜(同一机房内)。如左机柜3台,右机柜3台。

5.6.端口规划

以下端口号为gbase数据常用端口号,在集群操作系统配置防火墙的前提下,需要开启以下端口保证集群能后正常运行:

端口占用程序

端口号

gcluster服务

5258

gnode服务

5050

syncserver服务

5288

数据导出程序端口范围 

6066 – 6165

监控agent端口

9110

采集中心端口

9999

报警服务端口

9111

监控web服务端口

8080

5.7.GBASE数据库版本规划

安装版本:GBase8a MPP v95XX系列版本
集群架构规划:GBASE集群架构规划为6个节点,文件服务器(加载机)复用其中某一节点。
6台主机建议规划3个coordinator节点,6个data节点,其中3个data节点和coordinator节点复用。

5.8.应用连接资源规划

建议业务可以通过接入不同的管理节点以降低单节点压力。
由于集群JDBC自带自动路由功能,因此在web应用中间件中的JDBC配置URL中可将集群所有coordinator节点均配置到hostlist参数中,以便当有节点离线时,应用连接自动下发到可以使用的集群节点上,不影响应用正常使用集群。

以上为网络环境规划,数据库安装前检查、具体步骤,及安装后校验见后续文章。