前文给大家介绍了GBase 8a MPP Cluster的一些关键技术,今天给大家介绍下GBase 8a MPP Cluster的支持平台,以及管理工具等,如需查阅前文,请参考如下链接:
GBase 8a MPP Cluster产品基本介绍:https://www.gbase.cn/community/post/4209
单节点列存储数据库技术: https://www.gbase.cn/community/post/4218
MPP大规模并行计算技术: https://www.gbase.cn/community/post/4221
GBase 8a MPP Cluster高级特性:https://www.gbase.cn/community/post/4231
1 GBase 8a MPP Cluster运行环境和技术指标
1.1 硬件环境
支持如下的硬件环境:
1)支持服务器平台:x86_64的标准PC服务器、PowerLinux服务器、浪潮K1、华为泰山、中科曙光海光等;
2)支持存储:本地存储(SATA、SAS、SSD等)、阵列存储(SAN、NAS)、SSD、Flash卡;
3)支持网络环境:千兆、万兆、InfiniBand。
1.2操作系统和平台
支持如下的操作系统和平台:
1)支持的CPU:Intel、AMD、申威、龙芯3B、飞腾、X86、Power、鲲鹏、海光等;
2)支持的操作系统:CentOS、Red Hat、SUSE、中标麒麟、PowerLinux、深度、银河麒麟、凝思、中科方德、普华等64位操作系统;
3)支持基于x86及Power的虚拟机,如VMware ESX及KVM、OpenStack、docker等虚拟化技术。
1.3与第三方软件平台的接口
兼容主流应用软件,包括:
1)BI工具:MSTR、Cognos、R3 Query、SAS、SPSS等;
2)ETL工具:Datastage、Kettle、Informatica等;
3)中间件:WebSphere、Tuexdo、Hibernate、Weblogic、Tomcat等。
1.4 技术指标
技术指标 | 描 述 |
单节点数据处理能力 | 100TB |
数字精度 | 65 |
表的个数 | 受文件系统限制,Ext3文件系统单个数据库中上限65535;其他文件系统无限制。 |
每个表中列的个数 | 2000 |
每个表中行的个数 | 140737488355328 |
表中一行的内部长度 | 65534000字节 |
一个INTEGER类型列的长度 | 4字节 |
日期类型列中表示年的位数 | 4位 |
用户名包含字符的个数 | 16字符 |
CHAR类型列的长度 | 255字符 |
BLOB列的长度 | 32K字节 |
VARCHAR类型列长度 | 随字符集而不同,UTF8MB4、GB18030是8192,GBK、UTF-8为10922字符 |
行存列的长度 | 32KB |
虚拟集群名长度 | 255 |
虚拟集群个数 | 64 |
数据库名长度 | 48字符 |
表名长度 | 56字符 |
列名长度 | 64字符 |
索引名长度 | 64字符 |
别名长度 | 255字符 |
编码格式 | UTF-8、UTF8MB4、GBK 、GB18030 |
2 GBase 8a MPP Cluster管理工具
GBase 8a MPP Cluster提供了GBaseDataStudio、集群监控工具、gcadmin命令行工具、DB-Link及透明网关等工具,可以对数据库的各项功能进行集中式统一管理,对系统运行状态、资源占用、任务执行情况进行监控,实现数据快速加载及集群间数据高效访问等多项功能。
2.1客户端工具
2.1.1GBaseDataStudio
图形化的查询和管理工具,提供用于访问、控制和管理集群环境。使用GBase 8a MPP Cluster企业管理器可以完成如下工作:
1)集群连接配置管理;
2)元数据信息查询和管理;
3)SQL、存储过程、自定义函数的开发、执行。
2.1.2集群监控工具
集群监控工具提供可信的监控数据,及时的报警功能,直观的趋势展示,可靠的数据分布视图和数据库连接线程的状态展示。
集群监控工具主要监控单个或多个GBase 8a MPP Cluster部署环境中,集群节点Server 的运行状态,资源利用情况、网络通讯情况等信息,可使用户对集群环境下的Server 的运行状态及其系统资源进行有效地监视,能够为用户监控集群及其集群点的运行情况提供可靠的依据。
2.2 gcadmin工具
GBase 8a MPP Cluster为管理员提供了命令行工具gcadmin。该工具能实现Distribution的增加、移除,查看集群状态等管理功能。具体功能如下:
1)集群状态信息查询,可以查询节点IP、节点状态、集群服务模式等信息;
2)数据分布信息查询,可查询节点主分片和副分片的位置、总分片数量等信息;
3)集群锁信息查询,可以查询锁的名称、节点IP、锁的创建时间等信息;
4)节点异常状态信息查询,可以查询所有的错误日志,某个表分片在某个节点上的错误日志等信息。
2.3 DB-Link与透明网关
DB-Link是GBase 8a MPP Cluster提供的远程数据库链接功能,通过与透明网关服务协同工作,实现透明访问异地GBase 8a MPP Cluster或Oracle数据库中的数据表。支持passthrough直通模式,即GBase 8a MPP Cluster不对指定的SQL做语法解析,请求透明网关直接推送指定SQL到远端数据库执行相关操作。
透明网关服务是一个独立运行的进程,负责连接GBase 8a MPP Cluster或其他数据库(通过标准JDBC接口),并完成数据抽取和数据推送的工作。
通过DB-Link 功能,客户可以实现:
1)GBase 8a MPP Cluster的应用程序可以访问一个外部数据源,外部数据源支持GBase 8a MPP Cluster、Oracle数据库。可以查询外部数据源的数据,也可以将外部数据源的数据与本地集群中的数据进行关联运算;
2)远端数据源是GBase 8a MPP Cluster,并且网络通信没有限制的情况下,可以对这种场景进行定向优化,以提升性能;支持不同的集群版本间的DB-Link访问,如支持v8.6.2build43版本与v9.5.3版本间的DB-Link功能。
2.4 集群间同步工具Rsynctool
集群间同步工具是基于底层二进制文件同步的工具,其同步的对象是库内的数据,通过解析、比对二进制文件的变化进行同步; 包含增量同步和全量同步。该工具具有如下功能点:
1)支持增量和全量两种数据同步方式;
2)支持落盘数据的回读校验;
3)支持先同步主分片,主分片成功后再同步备份分片;
4)集群间同步支持使用普通数据库用户进行同步。
好了,以上就是本期文章内容,相信大家阅读了本系列文章,对GBase 8a MPP Cluster的关键技术会有一定的了解,也欢迎大家一起随时交流,谢谢!