一.引言
1. 在任何组织中，都存在一些需要跨业务领域、跨流程和跨系统使用的数据。这些数据称为主数据和参考数据。
2.如果这些数据实现了共享，所有的业务部门就都可以访问相同的客户清单，地理位置代码、业务部门清单、交付选项、部件清单、成本核算中心代码、政府税收代码以及用于运营业务的其他数据，那么整个组织及其客户都会从中受益。
二.业务的驱动因素
1.主数据管理
1.满足组织数据需求
2.管理数据质量
3.管理数据集成成本
4.降低成本和风险：简化共享架构
2.参考数据管理
1.通过使用一致的参考数据，满足多个项目的数据需求，降低数据整合成本和风险
2.提升参考数据质量
三.目标
1.完整、一致、最新、权威的参考数据和主数据
2.促进共享参考数据与主数据
3.降低成本和复杂性
四.原则
1.共享数据
2.所有权属于整个组织
3.持续的质量监控和治理
4.业务数据管理员对参考数据的质量负责
5.控制变更
1.在某时间点，主数据代表最佳理解，变更可追溯
2.对参考数据的更改遵循明确流程和审批
6.权限：主数据值仅从记录系统中复制
五.基本概念
1.主数据MD与参考数据RD的区别
1.相同点：两者都为交易数据的创建和使用提供重要的上下文信息（参考数据也为主数据提供上下文），以便理解数据的含义，重点是两者都是应该在企业层面上被管理的共享资源
2.参考数据变化小，数据集比交易数据集或主数据集小，复杂程度低，拥有的列和行更少。不包含实体解析的挑战
3.主数据和参考数据不同的管理重点
1.主数据管理
- 主数据管理：需要对主数据的值和标识符进行 控制，以便能够跨系统地、一致地使用核心业 务实体中最准确、最及时的数据。主数据管理 的目标包括确保当前值的准确性和可用性，同 时降低由那些不准确标识符所引发的相关风险
2.参考数据管理
- 参考数据管理：需要对定义的域值及其定义进 行控制。参考数据管理的目标是确保组织能够 访问每个概念的一整套准确且最新的值。 参考数据管理面临的其中一个挑战是由谁主导 或负责参考数据的定义和维护
4.数据分类法（奇泽姆）
1.元数据
2.主数据
- 1.参考数据
- 代码表和描述表，用于描述组织中的其他数据，或仅用于将数据库中数据与组织外的信息联系起来
- 2.企业结构数据
- 会计科目表，能够按业务职责描述业务活动
- 3.交易结构数据
- 客户标识符，描述了交易过程中必须出现的一些要素（客户，产品，供应商）
3.交易活动数据
4.交易审计数据
2.参考数据RD
1.定义
参考数据：各种代码表和描述表，用于描述组
织中的其他数据，或者仅用于将数据库中的数 据与组织之外的信息联系起来 参考数据不易变化，它的数据集通常会比交易 数据集或主数据集小，复杂程度低，拥有的列 和行也更少。参考数据管理不包括实体解析的 挑战。
2.常用存储技术
1.代码表
2.参考数据管理系统
3.用特定于对象属性的元数据指定允许值
3.参考数据结构
1.列表
2.交叉参考数据列表
3.分类法
4.本体
4.专有或内部参考数据
5.行业参考数据
6.地理或地理统计参考数据
7.计算参考数据
8.标准参考数据集的元数据
与其他数据一样，参考数据也会随时间变化，由于它运用于各组织中，所以维护参考数据的关键元数据很重要，这样可以确保它血缘和流转过程得到理解和维护
3.主数据MD
1.定义
主数据：描述为组织中不同的应用程序均会使
用的核心业务对象（如产品、地点、账户、个 人或组织），以及与它们相关的元数据、属性、 定义、角色、连接和分类等 主数据需要为概念实体的每个实例识别和开发 可信版本，并维护该版本的时效性，主数据管 理面临的主要挑战是实体解析 （身份管理）。
2.常见主数据类型
1.参与方主数据
2.财务主数据
3.法律主数据
4.产品主数据
5.位置主数据
6.行业主数据(参考目录)
3.记录系统System of Record
它通过使用一套定义好的规则和预期来创建、获取，井维护数据，是数据的起源，例如ERP系统可以是记录销售客户的记录系统
4.参考系统System of Reference
1.数据消费者可以从参考系统中获得可靠的数据来支持交易和分析，即使这些信息井非起源于参考系统，如主数据MDM系统，数据仓库DW系统
2.不代表参考数据系统，主数据系统属于参考系统的一种
5.可信来源
可信来源 （Trusted Source）被认为是“事实的最佳版本〞。可信来源也可以被称为是单一视图
6.黄金记录
在可信来源中，表示一个实体实例的最准确数据的记录可以被称为黄金记录 (Golden Record)
7.主数据管理
1.评估主数据管理情况
- 1.哪些对象实体被反复引用
- 2.哪些数据被用来描述对象实体
- 3.数据如何定义和设计，粒度如何
- 4.数据所属权、存储权、共享权
- 5.数据被系统如何加工
- 6.数据使用方和目的
- 7.数据来源的质量和可靠性衡量标准
2.基本的管理步骤
- 1.识别能提供主数据实体全面视图的候选数据源（识别数据猿）
- 2.为精确匹配和合并实体实例制定规则（匹配实体）
- 3.建立识别和恢复未恰当匹配或合并的数据的方法（容错流程）
- 4.建立将可信数据分发到整个企业的系统中的方法（分发数据）
8.主数据管理的关键处理步骤
1.数据模型管理
- 1.源系统可能会呈现出相同 的属性名称，但在企业级 别上，数据值处于完全不 同的上下文中
- 2.多个数据源系统中可能存 在不同命名的多个属性， 在企业级模型中合并为单 一属性
- 3.有时在单个数据源中呈现 多个属性，这些属性合并 组成为企业级横型定义的 某一个厲性值。
2.数据采集
- 1.接收需求
- 2.质量评估
- 3.评估数据整合复杂性，分析成本效益
- 4.试点数据采集及其对匹配规则的影响
- 5.确定数据质量指标
- 6.数据质量监控和维护
- 7.完成与整体数据管理环境的集成
3.数据验证，标准化和数据丰富
- 1.数据验证：识别那些被证明是错误的，或可能是不正确，或默认的数据（如删除明显的假电子邮件地址）
- 2.标准化：确保数据内容符合标准参考数据值（如国家代码）、标准的格式（如电话号码） 或字段（如地址）
- 3.数据丰富：添加可以改进实体解析服务的属性（如关联公司记录中的邓白氏公司的邓氏编码DUNS)
4.实体解析和标识符管理
- 1.匹配
- 1.假阳性
- 不代表同一实体的两个对象被关联在一个标识符下。假阳性导致一个标识符指向多个现实世界的实体实例。
- 2.假阴性
- 代表同一实体的两个对象没有关联在一个标识符下。假阴性导致多个标识符指向同一个现实世界的实体。
- 3.确定式算法
- 4.或然式算法
- 1.假阳性
- 2.身份解析
- 一些匹配采用多个字段实现精确数据匹配可信度很高；另一些匹配则由于数值冲突而缺少可信度
- 3.匹配流程/协调类型
- 1.重复标识匹配规则
- 重点关注一组特定的数据元素，这些元素能够唯一地标识实体，识别合并机会而不采取自动合并操作，由管理人员审查后做出决策。
- 2.匹配链接规则
- 标识和与主记录可能相关的记录，只建立交叉引用关系而不更新这些被交叉引用的记录的内容。匹配链接规则更容易实现，也更容易撤销操作
- 3.匹配合并规则
- 重点关注记录的匹配并将这些记录中的数据合并为统一、协调且完整的记录（真的合并或更改数据）
- 1.重复标识匹配规则
- 4.主数据 ID 管理
- 1.管理主数据涉及管理标识符。在主数据管理环境中，有两种类型的标识符需要跨数据源管理：全局标识符（Global 1D） 和交叉引用 （x-Ref)信息。
- 2.全局标识符是主数据管理解决方案分配和维护的唯一标识符，它会被附加到协调记录中。其目的是能够唯一地标识一个实体实例。不管使用哪种技术执行主数据整合活动，全局标识符应该由一个解决方案生成，以避免出现重复值的风险。只要能保持唯一性，全局标识符可以是数字，也可以是全局唯一标识符（GUID）
- 5.从属关系管理
- 1.从属关系
- 通过程序逻辑提供了最大的灵活性。父子层次结构的数据也可以用该类型关系来展示。许多下游解决方案，如报表或财务工具都希望看到信息的分层视图。
- 2.父子关系
- 因为导航结构是隐含的，故父子关系需要较少的程序逻辑。然而，如果关系发生变化，并且没有其他可用的从属结构，就可能会影响数据的质量和商务智能维度数据。
- 3.数据共享和管理责任
- 工作可以借助工具来实现自动化，但人的作用不能完全替代；理想状态，从管理中吸取经验教训可用来改进算法减少人工工作
- 1.从属关系
- 匹配是识别不同记录如何与单个实体相关联的过程
构成主数据的属性，定义的粒度和相关数据值
的粒度在整个组织中也必须有意义
9.参与方主数据 Party Master Data
10.财务主数据 Financial Master Data
11.法律主数据 Legal Master DatA
12.产品主数据 Product Master Data
13.位置主数据 Location Master Data
14.行业主数据-参考目录
邓白氏编码，企查查等
4.数据共享架构
主数据中心环境的三种实现方法
1.注册表 Registry
- 是指向多种记录系统(System of Record）中主数据记录的索引。记录系统管理应用程序本地的主数据。可以根据主索引访问主数据。注册表相对容易实现，因为它很少需要对记录系统进行更改。但是，要对多个系統中的主数据进行组合时通常需要复杂的查询。此外，还需要实施多个业务规则，以解决跨系统时产生的语义差异。
2.交易中心 Transaction Hub
- 在该种方法中，各应用程序与中心系统交互，实现对主数据的访问和更新。主数据存在于交易中心内，而不存在于任何其他的应用程序中。交易中心是主数据的记录系统。交易中心使更好的治理成为可能，并对外提供一致的主数据源。业务规则仅被实施在单一系统中：即中心系統。
3.混合模式 Consolidated
- 是注册表和交易中心的混合体。记录系統管理应用程序本地的主数据。主数据在一个公共存储库中被合并，并经由数据共享中心实现共享，如此消除了对记录系统直接进行访问的需要。混合法在提供企业视图的同时，能尽量減少对记录系统的影响。但是，它需要在系统间进行数据复制，而且数据中心和记录系统之间会有延迟。
六.活动
1.主数据管理
1.识别驱动因素和需求
2.评估和评价数据源
3.定义架构方法
4.建模主数据
5.定义管理职责和维护过程
6.建立治理制度，推动主数据使用
2.参考数据管理
1.定义驱动因素和需求
2.评估数据源
3.定义架构方法
参考数据总是需要手动更新
4.建模参考数据
5.定义管理职责和维护过程
6.建立参考数据治理制度
七.工具方法
1.主数据管理需要一些专业标识管理的工具
2.主数据管理可以通过数据整合工具，数据修复工具、操作型数据存储（ODS)．数据共享中心（DSH） 或专门的主数据管理应用来实现
3.产品、账户和參与方的打包解决方案以及打包数据质量检查服务可以快速启动大型程序，结合这些服务可以使组织使用业界最佳的解决方案，同时将它们整合到组织的总体业务架构中来以满足某些特定的需求。
八.实施
1.遵循主数据架构
建立和遵守适当的参考体系架构，对于管理和共享跨组织的主数据至关重要
2.监测数据流动
1.如何共享和使用
2.数据血缘
3.辅助分析问题根本原因
4.通过数据消费展示源系统的数据值延迟
5.确定业务规则和转换的有效性
3.管理参考数据变更
1.对外部参考数据集的行级变更
2.外部参考数据集的结构变化
3.对内部参考数据集的行级变更
4.内部参考数据集的结构变化
5.创建新的参考数据集
6.参考数据变更流程
1.接受变更请求
2.确定利益相关方
3.确认影响
4.决策&沟通
5.更新并通知（如果可行）
4.数据共享协议
1.为确保恰当的访问和使用，应建立共享协议，规定哪些数据可以共享，以及在任何条件下可以共享。
2.应当建立服务水平协议（SLA）和度量指标来衡量共享数据的可用性和分享数据的质量
5.组织和文化变革
1.放弃
参考数据和主数据管理要求人们放弃对某些数据和进程的控制
2.改变
提高参考数据和主数据的可用性及质量无疑需要对传统做法做出修改
3.责任
最具挑战性的文化变革才是治理的中心：确定哪些决定由哪个人负责
6.总结
1.主数据和参考数据管理是数据整合的一种方式。用于数据集成和互操作领域的实施原则也可以应用到主数据和参考数据管理中。
2.主数据管理和参考数据管理的能力不可能在一夜之间实现。相关解决方案需要专门的业务和技术知识。组织机构应该期望通过在行动路线图中定义的一系列里程碑，基于业务需求进行优先级排序，并遵从总体架构指导，来逐步实现参考数据和主数据解决方案。
3.需要注意的是，如果缺乏适当的治理，会导致主数据管理项目失败。数据治理的专业人员必须
了解主数据管理和参考数据管理的挑战，并且评估组织的成熟度和适应能力。
确保在组织内做到及时地提取和分发数据
参考数据属于共享资源，所以不应任意更改；
变更请求应该遵循既定流程
九.治理
1.应决定事项
参考数据和主数据是共享资源，自动化处理只能解决部分问题，很多问题需要人们沟通来解决。
如果没有治理，解决方案只是一堆程序，无法发挥它们的全部潜能，治理过程通常包括这些决策：
