一、数据中心整体架构
数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。
DM(Data Mart) 数据集市,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据。面向应用。
DW (Data Warehouse)数据仓库,是数据的归宿,这里保持这所有的从ODS到来的数据,并长期保存,而且这些数据不会被修改。
ODS(Operational Data Store) 操作性数据,是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短。ODS的数据最终流入DW
STAGE,数据接口,临时存储从数据源抽取的数据。
ETL就是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:
- Extract,数据抽取,也就是把数据从数据源读出来。
- Transform,数据转换,把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。
- Load 数据加载,把处理后的数据加载到目标处,比如数据仓库。
DB(DataBase) 是现有的数据来源(也称各个系统的元数据),可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。
举例:
二、数据仓库的ODS、DW和DM概念详解
ods、dw、dm区分
三、ODS、DW、DM协作层次图
四、通过一个简单例子看这几层的协作关系
五、ODS到DW的集成示例
小结:数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。