一、数据仓库构建思想

构造数据仓库有两种方式:一是自上而下,一是自下而上。

Bill Inmon先生推崇“自上而下”的方式,即一个企业建立唯一的数据中心,就像一个数据的仓库,其中数据是经过整合、经过清洗、去掉脏数据的、标准的,能够提供统一的视图。要建立这样的数据仓库,并不从它需要支持哪些应用入手,而是要从整个企业的环境入手,分析其中的概念,应该有什么样的数据,达成概念完成整;(会考虑到很全面的设计)

Ralph Kimball先生推崇“自下而上”的方式,他认为建设数据仓库应该按照实际的应用需求,加载需要的数据,不需要的数据不要加载到数据仓库中。这种方式建设周期较短,客户能够很快看到结果。(针对客户的需求,需求要什么就做什么)

二者都要达到同一个目标:企业级数据仓库。实际上在建设数据仓库的时候,一般都参照这两种方式结合使用没有硬性规定。

二、ETL(Extract/Transformation/Load)

用户从数据源中抽取所需的数据,经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去;ETL是数据仓库系统中最重要的概念之一,ETL在一个数据仓库系统项目中要花一半以上的时间。

1) ETL调度目标

数据来源:数据库、数据库文件、文本文件、程序生成(派生列)

系统数目:单个系统、多个系统(过多的系统可以考虑接口实现)

数据库的类型:同种数据库/多种数据库

2) ETL调度参数设计

调度优先级/调度次序/中断标志/回滚标志/成功标志/调度开始结束时间等

3) ETL调度日志管理

文件记录/数据库记录

作业名称/作业执行开始-结束时间/作业执行结果/异常信息捕获/作业编号等

4) ETL调度JOB设计

数据文本文件加载/SQL在程序中调用/存储过程/ETL工具的WORKFOLW

5) ETL调度策略设计

全量数据加载:用户信息类数据,状态会更新发生变化的数据

增量数据加载:流水分批调度设计,抽取数据一般在比较闲暇的时候进行,凌晨时候比较多,而且按照要分析数据的周期,还分为按日、按月数据;由于涉及到的业务系统的数据量庞大,需要分批进行抽取,以及抽取数据后面的一系列处理过程。

调度并发设计:JOB并发涉及、并发冲突设计、异常处理设计、成功/错误退出方式

三、存储管理和模型设计

数据仓库的真正关键是数据的存储和管理。数据仓库一般遇到的几个问题:

1)大数据量的存储和管理

数据库的设计,安装、集成根据数据抽取详细设计要求设计数据库应用方案等;

2)针对决策支持查询的优化

分区表、索引、簇集索引、MQT、SQL优化等方式。

3)支持多维分析的查询方式

是否有相关报表软件及查询方式的优化。