基于数据中台的数据治理解决方案_数据质量

全文共1865个字,阅读需6分钟


当前很多传统企业的数据中台还处于初步建设阶段,但伴随着移动互联网的逐步发展、线上和线下的融合,数据服务的形式、场景越来越多,业务维度会变得更加复杂,数据中台的建设也会面临更多的挑战,主要表现如下:


数据缺乏标准,难以有效集成与使用


数据中台需要集成内部和外部各个系统的数据,只有建立一致性的数据规范,通过统一的模型容器,才能实现数据的有效整合,避免数据误入“形合神离”的窘境。


数据可信度偏低,导致数据不可用、不敢用


数据中台的数据来源为内部的系统,其数据完整性、时效性、真实性都有待评估和度量,只有在数据中台建立完整的数据质量评估、问题发现、整个的机制与流程,避免数据“垃圾进、垃圾出”,才能不断提升数据中台的数据质量,使数据使用人员逐渐增强对数据中台所到处和展现数据的信任。


数据没有业务视角的展现方式,业务人员不会用


随着企业级数据应用的深入,风险、运营、营销等岗位的业务人员,需要更多的运营数据分析技术,因此了解和掌握数据情况变得尤为重要。而传统的开发人员所用的数据模型或者数据字典,作为一种描述数据的方式和语言,缺乏与业务场景的结合,偏重于技术角度,比较难于理解和应用。


数据不可溯源,跟踪数据处理过程困难

数据中台为了能实现数据整合与高效应用,以及指标计算的复杂性,往往会进行多层的数据处理。而且数据处理的逻辑往往只是在程序或者文档描述中,存在结构化差异,描述不全、不及时、不准确等情况。但数据中台所支持的应用越来越多,采集的数据也越来越多,加工过程会越来越复杂。因此对于数据来源路径分析、数据问题跟踪分析方面,工作量大且极为困难。基于数据中台的数据治理解决方案_数据质量_02

从战略、机制、领域、技术等多方面考虑,分层设计企业数据治理体系框架。基于数据中台的数据治理解决方案_数据质量_03一个完整数据治理体系,应包含数据运营的战略,并在战略的指导下构建和设计数据应用与服务体系,数据治理管理领域,数据治理的保证体系等。

基于数据中台的数据治理解决方案_数据_04数据治理支持保证体系包括数据治理的组织体系,遵从的政策法规,管理制度,管理流程等。

基于数据中台的数据治理解决方案_元数据_05数据治理组织体系的建设要点是明确数据治理组织的定义、组织形式、管理内容、岗位分工,职责划分等。基于数据中台的数据治理解决方案_数据_06参考业界先进的数据治理模型和行业的应用标杆,构建适合企业的数据治理模型。

基于数据中台的数据治理解决方案_元数据_07每个企业的数据治理都不是为了治数而治数,背后都是对业务目标的支撑,例如:增效、降本、提质、控险,共享、创新、优化。

基于数据中台的数据治理解决方案_元数据_08数据治理思路可以分为四步走:一是明确数据治理的目标。二是完善数据治理的顶层设计。三是健全数据治理的相关规则。四是从数据整合治理到数据洞察。基于数据中台的数据治理解决方案_数据_09一个完善的数据治理平台一定遵循分层设计模式,大致可分为服务层,平台层,数据层。服务层面向业务用户提供数据服务,平台层提供各种数据治理能力,数据层提供数据的采集、处理、清洗和加工。

基于数据中台的数据治理解决方案_数据_10数据中台的数据治理技术架构设计主要是在数据中台技术底座的基础之上,构建元数据管理、数据标准管理、数据质量管理和数据安全管理等数据管理功能,以支持实现数据中台的业务数据化、数据资产化、资产价值化。

基于数据中台的数据治理解决方案_数据质量_11从数据治理专业领域分,数据治理包括数据标准管理、元数据管理、数据质量管理、主数据管理、数据架构、数据模型、数据生命周期管理、数据资产管理和数据安全管理。一个专业领域都需要一套与企业现状和需求相符的数据管理流程。

基于数据中台的数据治理解决方案_数据_12

基于数据中台的数据治理解决方案_数据质量_13数据标准管理的关键在于梳理数据标准范围,定义数据标准项。功能层面应提供数据标准查询、数据模型监控、数据标准落地评估等功能。

基于数据中台的数据治理解决方案_数据_14元数据管理的关键在于技术元数据和业务元数据梳理,并通过业务元数据自动关联技术元数据。功能层面提供元数据查询、影响分析、血缘分析、全链路分析、关联度分析等功能。基于数据中台的数据治理解决方案_元数据_15数据质量管理的关键点在于数据质量维度和指标的定义。功能层面提供数据质量指标定义,数据质量任务管理,数据质量稽查,数据质量问题分析,数据质量问题统计等功能。基于数据中台的数据治理解决方案_元数据_16数据集成管理是让数据用起来的重要手段,通过集成工具实现数据的采集、转换、清洗,统一汇集到数据中台形成企业数据资产。基于数据中台的数据治理解决方案_数据质量_17将标准化的数据资产进行服务化处理,形成可复用的数据服务,提供业务使用,支持企业的业务创新。

基于数据中台的数据治理解决方案_数据_18数据资产管理提供数据资产目录,数据资产服务,数据资产使用情况监控,数据资产查询等功能。基于数据中台的数据治理解决方案_元数据_19数据安全管理需要支持数据的分类分级,数据脱敏,数据加密,数据授权等功能,确保数据的安全合规使用。基于数据中台的数据治理解决方案_数据质量_20基于数据中台的数据治理解决方案_数据质量_21

建议在数据中台加强数据治理,在数据标准、数据质量、元数据、数据安全方面,持续应用数据管理的工具与方法,推进数据治理工作,并将数据治理与数据中台运营管理过程相结合,有效持续提升数据中台的数据质量,加强数据中台服务能力,实现银行数据价值,支撑企业数字化转型。