鲲鹏应用创新大赛是面向全球开发者的顶级赛事,本次大赛由21个鲲鹏生态创新中心与华为,联合中国软件行业协会、绿色计算产业联盟、中国计算机行业协会、中国计算机学会高专委共同举办,旨在激发行业应用创新、加速产业融合、促进人才培养,吸引全产业开发者共同打造鲲鹏全栈解决方案。​


全国总决赛openGauss赛道金奖方案

天津南大通用数据技术股份有限公司:

基于openGauss的多模多态分布式数据库方案

方案介绍:

GBase 8c是基于openGauss3.0构建的一款多模多态的分布式数据库,支持行存、列存、内存等多种存储模式和单机、主备与分布式等多种部署形态。GBase 8c具备高性能、高可用、弹性伸缩、高安全性等特性,可以部署在物理机、虚拟机、容器、私有云和公有云,为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。

含金量满满,创新力十足的分布式数据库

大通用是国内少有的专注于数据库产品研发,并且在金融、电信行业得到规模化应用的独立数据库服务商。南大通用于2021年底正式加入openGauss社区,却是业界首个基于openGauss3.0版本推出分布式数据库产品的玩家。基于openGauss开发分布式数据库,需要深入理解openGauss的架构和设计,并在此基础上再进行分布式能力的构建。南大通用有近二十年的数据库研发积累,其主打产品GBase 8a就是一款分布式的分析型数据库,这些积累为研发基于openGauss的原生分布式数据库GBase 8c提供了基础。

作为目前唯一一个基于openGauss3.0构建的原生分布式数据库,相对于一些采用中间件方式来提供分布式能力的解决方案,GBase 8c作为原生分布式数据库,在系统架构和内核层面进行了大量的优化。特别是在数据强一致性、复杂查询性能方面具有其核心优势。

GBase 8c具备全局强一致性的能力,通过全局事务管理器发放的全局时间戳,可以保证整个集群内的所有数据的强一致,相对中间件方案的最终一致性更适合核心业务系统。

GBase 8c具备数据节点间数据交换的能力。对于一些复杂的查询,中间件解决方案只能把数据都拉取到中间件进行查询过滤,在大数据量的情况下,会加大网络的负担和中间件处理的压力。GBase 8c可以将复杂查询下推给数据节点进行操作,由数据节点进行数据交换和计算,通过多个数据节点的并行处理,大幅提升整个集群的处理效率。

GBase 8c提供的这些能力,让用户可以像使用集中式数据库一样使用分布式数据库,平滑地进行数据库架构的切换。

强化分布式能力,提供一站式解决方案能力

GBase 8c是基于openGauss3.0构建的多模多态原生分布式数据库,支持行存、列存、内存等多种存储模式和单机、主备与分布式等多种部署形态。

什么是“多模多态”?多模指的是多存储模式依托openGauss提供的行存储、列存储和内存三种存储引擎,GBase 8c支持多个存储引擎以满足不同场景的业务需求。具体而言:

① 行存储引擎:

主要面向OLTP场景设计,例如订货、发货、银行交易系统;

② 列存储引擎:

主要面向OLAP场景设计,例如数据统计报表,分析系统;

③ 内存引擎:

主要面向极致性能场景设计,例如银行风控场景。

多态指的是多部署形态,在openGauss原来单机和主备部署形态的基础上,GBase 8c提供了分布式形态的部署能力,让产品具备单机、主备式和分布式三种部署形态。单机形态是数据库最经典的部署形态,优势在于低成本,部署简洁;主备形态支持一主多备部署方式,优势在于部署简洁,交付高效,且具备一定的容灾能力,适用于较低数据量、追求极致单机性能且对高可用有一定要求的场景;分布式形态支持分布式全组件冗余的高可用,支持计算存储分离的部署,优势在于可以根据业务需求对计算和存储能力分别进行水平扩展,适用于大数据量高并发且追求数据高安全性的场景。

在GBase 8c的研发过程中,openGauss团队也提供了很多的帮助。在系统概念阶段,openGauss团队面向开发者组织多场培训,对社区版本的架构、设计进行了讲解,让南大通用的研发人员能够以较短时间掌握openGauss的架构和设计,并了解相对于国外开源数据库openGauss架构的差异化优势。

比如相比国外开源数据库的32位xid的能力,openGauss提供了64位xid的特性。因为每个数据库业务都需要分配一个xid,随着业务量的不断增加,xid耗尽会引起数据库的冻结,从而影响业务系统的正常运行。“GBase 8c是一款分布式数据库,承载的业务量是集中式数据库的数倍甚至数十倍,xid耗尽的可能性会变得更大。openGauss将xid从32位变为64位,大大缓解了xid耗尽的可能性,为业务系统的稳定运行提供了有力的支撑。” 南大通用公司产品总经理张益张益讲到。

在系统设计阶段,openGauss的社区技术专家对GBase 8c的架构设计进行了评审,保证了GBase 8c的设计合理性和产品竞争力。在系统开发的阶段,openGauss社区对南大通用对于代码的具体问题进行了点对点的讲解,提升了开发的效率。

当前openGauss3.0构建的多模多态原生分布式GBase 8c实现了高性能、高可用、弹性伸缩、高安全性等特性,可以部署在物理机、虚拟机、容器、私有云和公有云,为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。

GBase 8c目前在已于健康码项目、城商行网贷平台、身份认证平台、市场监管委等多个项目完成落地。在南方某政府部门的健康码管理上,使用GBase 8c构建了全新数据库,解决了高峰时段亮码和扫码的问题,用较低的成本解决了性能不足的难题。在金融和电信等领域,GBase 8c也已经完成了POC测试,并将陆续替代传统集中式数据库,支撑核心业务系统。

展望未来,在技术层面,南大通用将持续投入研发资源,一起构建开源数据库根社区,让openGauss成为数据库业内主流的开源社区。在市场层面,南大通用将联合openGauss推出更多行业解决方案,将原生分布式数据库的能力真正落实到行业和企业数字化创新发展的过程中,为数据库产业发展助力。