元数据管理,管理哪些内容

元数据(metadata):
(他应该是结构化信息)
1) 描述数据的数据
2) 补充原始数据的数据

整合图谱(integration map)
描述的是一个应用程序中的数据是如何与另一个应用程序的数据产生关联,以及数据是以什么样的逻辑被组合到一起
整合图谱是数据何种的数据如何被整合的详细规范, 它是解决数据间相互隔绝问题的最佳方案。

一个是概念,一个是具体的实现方式。
eg:
定义:数据资产
具体实例:元数据, 血缘分析,原始数据,聚合后数据。

语境 (我可以理解为实际业务么?通过实际业务指导数据的使用,不同业务下同样的数据代表意义不同。)

元过程(metaprocess)
信息是如何处理,或者信息将会被如何处理
。数据何时产生?数据何处产生?数据产生多少?数据由谁产生?所选数据是如何被置入数据湖的?

 

数据转换标准文档:

在应用程序数据池内,就会有这样的标准:
“如果gender(性别)= 0,那么将性别转换为女性。如果gender = 1,那么将性别转换为男性。如果gender = x,那么将性别转换为女性,如果gender = y,那么将性别转换为男性。依此推类。”又或者会有标准声明为:“如果测量单位是英寸,那么就换成厘米”

 

技术元数据:

  1)数据库属性

  2)数据表属性

  3)字段属性

 

业务元数据:

  1)业务指标

  2)业务术语

  2)分析应用 :应用系统, 应用编号,归口部门,处理逻辑。。。

 

元数据:是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。

元数据的作用:
在数据仓库系统中, 元数据可以帮助数据仓库管理员非常翻遍的找到他们所关系的数据,用于知道其他进行数据管理和开发工作,提高工作效率。

元数据分类:
技术元数据:
1)分布式计算系统存储元数据
2)分布式计算系统运行元数据
3)数据开发平台中数据同步、计算任务、任务调度
4)数据质量和运维相关元数据
业务元数据:主要介于使用者和实际系统之间的语义层
1)维度及其属性、业务过程、指标等规范化定义
2)数据应用元数据

元数据仓建设:
1、梳理清楚元仓底层数据,对元数据进行分类
2、保障数据的唯一性,减少重复建设
3、丰富表和字段的注释,便于理解使用
4、建立元数据中间层: 建设元数据基础表,打通从数据产生到消费整个链路
a) 调度元数据
b) 同步元数据
c) 产品访问元数据
d) 服务元数据
e) maxcompute元数据
5、基于元数据对外提供统一的数据服务

数据标签:
1、基础标签
针对数据的存储情况、访问情况、安全等级等进行打标
2、数仓标签
针对数据是增量还是全量、是否可再生、数据的生命周期来进行标签化处理
3、业务标签
根据数据归属的主题域、产品线、业务类型为数据打上不同的标签
4、潜在标签
这类标签主要是为了说明数据潜在的应用场景,比如社交、媒体、广告、电商、金融。

元数据作用:
a) 元数据门户
b) Data Profile
c) 数据应用链路分析
d) 驱动ETL开发、上线、下线