为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目,星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动,旨在为各行业提供更多的优秀产品案例,彰显技术改变世界的力量,目前已成功举办两届,收到了来自各界的积极参与。
第二届星环科技科技实践案例评选活动新增了“年度信创先锋之星”,经过产业界、学术界专家联合评审,最终评选出了“年度信创先锋之星”、“年度科技向善之星”、年度价值贡献之星”、“年度科技前沿之星”、“年度技术革新之星”五大奖项,并特此进行案例巡展。
本期巡展案例为获得第二届“新科技 星力量” 星环科技科技实践案例评选活动“年度信创先锋之星”的江西金融发展集团股份有限公司基于星环科技分布式数据库的互联网金融业务系统实践。
企业与项目
江西金融发展集团股份有限公司(以下简称“江西金发”)于2016年经江西省政府批准设立,是补位江西传统金融服务的产融结合综合型金融科技平台,公司逐步构建担保增信为主导的多元化金融服务体系,聚焦以产融结合的模式助力地方建设。
江西金发充分发挥混合所有制优势,强化数字化转型先天基因,以多元金融服务体系为基础,制定数字化框架顶层设计,通过更大投入、更实举措、更优机制推进数字化转型,助推江西省金融服务模式由“找钱”的传统模式向“钱找”的智慧模式转型,为江西省数字经济发展做出积极贡献。伴随着公司业务体量的提升,对数据库性能要求和自主可控的要求也越来越高,金发公司计划将所有业务系统进行改造,统一采用国产高性能分布式数据库来提供服务,同时为了提高数据的利用率,发挥数据的价值,计划构建数据仓库与数据湖一体系统来替代之前的开源大数据平台CDH,为业务部门提供数据支撑。
项目背景与需求
江西金发的互联金融业务采用互联网开发的技术栈,使用开源的MySQL作为统一的数据库建设方案,包含200多个实例,构建了一套面向互联网用户的高并发信贷业务系统,并通过大数据风控技术提升业务的安全性。
随着业务的增长,业务互联网特征愈加明显,对高并发、低延迟以及稳定性有了更高的业务要求。同时,伴随着交易的增多,对风控分析、报表等实时查询分析需求也提高了要求,支持基于历史数据的实时查询与批量处理等,超过了单机MySQL的处理上限。从金融业务的敏感性来讲,对业务开发过程中的技术安全性也迫切需要改进,采用国产化软硬件是必由之路。通过对分布式数据库成熟度、先进性和行业案例等维度评估,最终选择了星环科技分布式交易型数据库KunDB和分布式分析型数据库ArgoDB作为技术解决方案,保障了国产数据库替换的正确性和低迁移成本的同时,实现了性能、可靠性、实时性等维度的提升。
解决方案
为满足业务高速发展和自主可控需求,江西金发联合星环科技制定了详细的国产化系统改造升级方案和规划,制定了严格的业务改造开发、测试和上线流程,保证数据库变更前后的质量,并形成了分布式数据库改造开发规范。
在整体业务方面,原业务系统中前置业务(对接第三方互联网金融平台的流量)、中台、风控核心业务等跟对公业务强相关的模块,均对接了星环科技分布式数据库。
江西金发基于星环科技分布式数据库的互联网金融业务系统
应用效果
金发业务系统与数据平台分别结合星环分布式交易型数据库KunDB与星环分布式分析型数据库ArgoDB进行了改造开发,低成本完成了原系统的平滑迁移,实现了从数据库到操作系统到硬件的全栈国产化改造,做到了自主可控,并且实现了性能、可靠性、实时性等维度的提升。
平滑迁移
星环科技KunDB高度兼容MySQL,支持MySQL通信协议、方言和开发生态,配合星环科技自研的迁移工具,实现了原开源MySQL系统数据和业务的平滑迁移,共完成了14个核心业务往分布式数据库的迁移和业务改造,通过全量数据迁移+增量数据迁移的方式实现了在线不停服迁移,累计迁移了2TB的业务数据,满足未来2年业务增长的需求。
架构创新
原先MySQL+Hadoop升级为星环科技KunDB+ArgoDB湖仓一体架构,用户可以基于统一访问接口最大程度上降低数据湖、数据仓库、数据集市业务过程中业务接口的调整,降低用户开发成本,提高数据处理效率。统一的元数据管理可以在精准的ACL控制下,实现按需展示湖仓集内的相关元数据的统一查询,提高数据管理效率。统一存储管理,对使用者屏蔽不同数据源的数据存储,降低业务数据管理难度。
此外,基于星环科技分布式AETP技术,系统可同时支撑TP与AP的高性能业务需求。基于容器化技术的部署实现了资源隔离,易于管理和发布,并为系统稳定性提供了保证。同时,测试环境与生产环境相互不影响,且可实现CI/CD,提升了开发效率。
性能提升
业务系统中前置业务(对接第三方互联网金融平台的流量)、中台、风控核心业务等跟跟对公业务强相关的模块,均对接了分布式数据库,对高并发和大数据量的表进行了分表,实现了存储上的扩展和性能上的扩展,实时信贷交易的并发量为原来的3倍,基于分布式分析型数据库ArgoDB的分析业务响应效率提升为原来的5倍。
系统容灾水平提升
业务系统与分布式数据库均采用冗余部署的容灾方案,通过Loadbalance组件实现动态负载均衡。故障时服务和数据库可自动选主,RTO<10s,RPO=0,提供7*24小时持续服务,且不影响负载均衡的有效性。
自主可控
KunDB和ArgoDB均为星环科技自主研发,并且与国产软硬件生态完成兼容适配,助力金发实现了从数据库到操作系统到硬件的全栈改造,实现了技术大幅升级,提前进入新的主流技术生态。