GBASE南大通用数据库电信业案例分享:
北京移动经营分析系统自2004年正式开始全面建设和整合。经分系统集中支撑了各部门、各分公司的管理分析需求;2020年建设新数据中心,扩容GBASE南大通用GBase 8a MPP数据库集群,对经分架构体系进行优化设计,实现投资降本增效、应用百花齐放和体系优化提升的目标。
解决方案
北京移动数据中心系统采用PC Server+Linux+本地磁盘的部署模式,近百个(一经主数据仓库)+数十个(一经专用库)+十余个(自助分析平台)节点规模,系统整体采用多种分布式存储处理平台的混搭架构,Hadoop的Map/Reduce、Hive处理海量的非结构/半结构化数据的批处理场景;GBase 8a MPP Cluster数据库处理结构化的海量数据(包括批处理和准实时的交互处理)(本方案在应用展示层采用MySQL数据库配合GBase 8a MPP Cluster数据库完成部分与应用的交互处理;流式数据处理框架Streams、MQ、VlotDB实现流处理及复杂数据处理,支撑实时营销场景。MPP与Hadoop之间的数据传输速度,每小时的传输速度最快可以达到30T左右。
GBase 8a MPP Cluster数据库在系统中作为整个企业数据中心的主数据仓库,担负处理数据的深度加工和BOM域之间的数据融合,即承担了整个数据供应链中最复杂的数据加工处理过程。整个系统中GBase 8a MPP Cluster数据来源主要是上游数据如boss和crm系统将数据传到接口机,此时的数据分为结构化数据和非结构化数据,非结构数据的批处理由Hadoop进行处理,然后加载到MPP中再次进行加工使用;结构化数据处理直接加载到MPP数据库完成。
应用效果
- 扩展系统数据处理范围:全面融合运营商的B域/O域/M域数据,为全价值链分析打下了数据基础,实现了从产品、客户、资源、渠道、基建等多角度挖掘分析;
- 满足系统更长周期数据可扩展性存储,管理和处理:支持长周期的海量数据的存储管理,满足了企业数据中心支撑“大数据”的本质诉求。
- 提高系统数据入库时间:整体裸数据文件入库速度最高可达20TB/小时,比原DB2数据库性能提高100倍以上。
- 数据库操作性能提升:一般统计查询类操作性能提升1倍以上,更新类操作性能提升30%-50%。
- 提升系统存储空间利用率:数据容量进一步降至未压缩前的1/4,极大提高了整个系统的数据生命周期。
- 降低系统建设软硬件成本:普通X86架构下的PC Server+源Linux操作系统部署方式,降低了系统的软硬件投入成本。