第一步:数据资源的盘点与规划
(1)对现有数据资源盘点和统计。
(2)对企业可以拥有或者应该拥有的数据资源进行规划。
(3)构建盘点体系并使用必要工具,保证盘点的成果能够始终与真实情况相符。
第二步:数据应用规划与设计
1.企业中有哪些数据需求
从业务线、业务层级到最细粒度的岗位,梳理数据需求。
2、企业应该构建哪些数据应用
围绕数据需求进行数据应用的整体规划和设计。
3、应该按照什么顺序实现这些数据应用
要对数据应用建立评估模型,评估的维度包括数据应用是否可以实现、数据应用的业务价值、数据应用的实现成本这三个主要方面。通过评定结果,我们可以确定数据应用的实现路径。
第三步:数据资产建设
1.技术建设
(1)产品选型。产品选型包括如何选择数据中台产品、数据中台产品应该具备的功能以及技术参数指标。
(2)技术架构设计。技术架构设计包括数据中台产品如何部署、如何替换传统的数据仓库或者与之并行、数据中台如何抽取当前的应用数据。
2.标准和数据仓库模型构建
(1)建模及开发规范。建模及开发规范包括数据仓库模型设计规范的制定,数据开发规范的制定,如何避免当前较为常见的数据开发混乱、难以运维的情况。
(2)数据建模。数据建模包括进行数据仓库模型构建,并提交评审。
3.数据抽取、数据开发、任务监控与运维
(1)数据抽取。数据抽取包括从数据资源层抽取数据进入ODS层。
(2)数据开发。数据开发包括进行数据任务开发,进行数据清洗、数据计算。
(3)任务监控与运维。任务监控与运维包括监控所有数据任务,对异常和错误任务进行必要的人工干预和处理。
4.数据质量校验
数据质量校验包括对当前发现的数据质量问题进行校验和处理,推动数据治理工作开展和持续优化。
5.数据应用支撑
数据应用支撑包括为当前的数据应用开发提供支撑开发平台。
第四步:数据应用的详细设计与实现
1.数据应用关注数据源的内容和质量
2.复杂的数据开发需要不断调优和迭代
3.数据应用的结果数据的验证工作量占比高
4.数据应用的运维难度大
5.数据应用的成果需要运营
第五步:数据化组织规划