这两天接触到ODS，开始很纳闷，有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store)，于是不查不知道，一查吓一跳，这里面还有这么多道道，这里总结一下，当作学习了。 简单说：DW数据仓库存储是一个面向主题的，反映历史变化数据，用于支撑管理决策。ODS操作型数据存储，存储的是当前的数据情况，给使用者提供当前的状态，提供即时性的、操
ODS（英语：Operational Data Store)是一种数据架构或数据库设计的概念，出现原因是来自于当需要集成来自多个系统的数据，结果又要给一或多个系统使用时。
一、概念 ODS (Operational Da
转载
2023-08-15 23:12:21
83阅读
# 数据仓库 Kimball 实现指南
## 一、流程概述
在实现数据仓库 Kimball 的过程中，主要分为以下几个步骤：
| 步骤 | 描述 |
| :---: | --- |
| 1 | 确定业务需求和数据来源 |
| 2 | 设计维度模型 |
| 3 | 设计事实表 |
| 4 | 设计ETL流程 |
| 5 | 建立数据仓库 |
| 6 | 部署OLAP工具 |
## 二、详细步
数据仓库数仓有二位大神，Bill Inmon 和 Ralph Kimball。 Bill Inmon所写的书Buliding the data warehouse【中文版为数据仓库】, Ralph Kimball所写的The data Warehouse Toolkit【中文版为数据仓库工具箱】。 可以说 Bill Inmon 将Ralph Kimball 的理念，尤其是维度建模的理念融合了进去。
背景：如何从具体的需求或项目转换为可实施的解决方案，如何进行需求分析、架构设计、详细模型设计等，则是模型实施过程中讨论的内容。业界常用两种数据仓库建设模型思想分为两种kimball和inmon模型。（具体的kimball和inmon 模型思想可以自行百度理解）在我们实践中也经常会用到数据仓库模型层次的划分，和kimball、Inmon的模型 实施理论有一定的相通性，但是不但不涉及具体的模型表达。业
1.概述 Kimball和Inmon是两种主流的数据仓库方法论，分别由 Ralph Kimbal大神 和 Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式。本文将详细介绍 Kimball 和 Inmon 理论在实际数据仓库建设中的应用与对比,通过数据仓库理论武装数据仓库实践。
2.什么是Kimball2.1 概念K
Kimball和Inmon是两种主流的数据仓库方法论，分别由 Ralph Kimbal大神 和 Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式Inmon和Kimball是数据仓库领域伟大的开拓者，他们均多年从事数据仓库的研究，Inmon还被称为“数据仓库之父”。Inmon的《数据仓库》和Kimball的《数据仓库工具箱》都是此领域的经典之作。后来人把这两人的
转载
2023-06-19 11:23:07
257阅读
文章目录11.0 数仓搭建ODS层11.1 ODS层（用户行为数据11.1.1 创建日志表ods_log11.1.2 Shell中单引号和双引号区别11.1.3 ODS层日志表加载数据脚本11.2 ODS层（业务数据）11.2.1 活动信息表11.2.2 活动规则表11.2.3 一级品类表11.2.4 二级品类表11.2.5 三级品类表11.2.6 编码字典表11.2.7 省份表11.2.8 地
数仓分层都分哪些层？一般来说，数据仓库我们可以分为如下5层：关于数仓分层，不同的公司分的层数是不一样的，并且数仓的每一层的命名也没有一个统一的标准，比如这一层就叫这个名字，但是整体思想是一样的。ODS层：用于存放原始数据，数据不做任何修改，所以这相当于起到一个备份作用。因为在数仓建设当中，数据是最重要的，宁可多费一些磁盘空间，也要保证数据的完整性。所以即使ODS层下面所有层的表数据都没了，也是没有
转载
2023-07-21 23:44:05
1824阅读
离线数仓-6-数据仓库开发ODS层设计要点离线数仓-6-数据仓库开发ODS层1.数据仓库开发ODS层设计要点2.ODS层用户行为日志表1.hive中复杂结构体复习1.array2.map3.struct 复杂结构4.嵌套格式2.hive中针对复杂结构字符串的练习1.针对ods层为json格式数据的练习2.用户行为日志表的设计用户行为日志表结构设计如下：3.业务表的设计-全量&增量 离线数
转载
2023-09-06 12:53:37
66阅读
数据仓库系列之维度建模 学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展，其中Inmon主张自上而下的架构，不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中，用于以后的分析
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。
一般在带有ODS的系统体系结构中，ODS都设
数据仓库，简称数仓，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。这里会介绍涉及的数仓数据开发技术，数仓的作用，数仓的特点等。 我简单的做一个比喻，数据仓库就是可以理解就是一
转载
2023-09-04 20:22:48
44阅读
1. 引言本篇主要讲述操作数据存储（ODS）系统产生的背景、定义、特点，以及它与数据仓库的区别。2. ODS产生的背景人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理，操作型数据处理一般放在传统的数据库(Database,DB)中进行，分析型数据处理则需要在数据仓库(Data Warehouse,DW)中进行。但是并不是所有的数据处理都可以这样划分，换句话说，人们对数据的处理需求并不只
首先，我们看到几种“设计”的基本思路：自顶向下，自底向上，混合方法和联邦方法。Ralph Kimball和Inmon都是“数据仓库”的首创者，但在数据仓库的设计和机构上却很不相同。Inmon支持“独立数据集市机构”，而Kimball支持“数据仓库总线结构”。 一、自顶向下的“独立数据集市机构”Bill Inmon主张不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中，用
转载
2023-08-13 09:44:35
67阅读
ODS的概念：是一个面向主题的、集成的、可变的、反应当前细节的数据集合。为企业决策者提供当前细节性的数据，通过作为数据仓库的过度阶段。ODS具有以下的特点：1.数据是不断更新和易丢失的，当新的业务数据进入到ODS时，旧的数据会被新的数据覆盖或更新，一般不存储历史的数据，只反映当前实时性的信息。2.ODS系统一般存储的都是细节性的信息，很少有汇总的数据。3.ODS系统支持快读的数据更新操
ODS（Operational Data Store）可操作的数据存储。 很多人对ODS究竟是什么有很多的困惑，ODS对于不同的人可以有不同的看法，我主要说说什么是最主流的定义。首先我们需要注意，ODS不同于数据仓库（Data warehouse）或数据集市(Data mart)。数据仓库是用来保存公司来自很多不同的来源的历史数据，并主要将这些数据用于趋势分析，生成报表的地方。它是一个公司很多主
转载
2023-09-15 13:01:36
82阅读
这两天看书，发现了和数据仓库相关的还有一个叫ODS的概念，它是企业级的全局数据库，用于提供集成的，企业级一致的数据，包含如何从各个子系统中向ODS抽取数据以及面向主题的角度存储数据。它和数据仓库的主要区别：数据仓库是面向主题的、集成的、随时间变化的、非易失的、用于进行战略型决策的数据集合。ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息
（注意：本文介绍的是数据仓库设计的Kimball方法，即多维模型；关系模型，即Inmon方法参见（四））1. OLAP（联机分析处理）与OLTP（联机事务处理）主要区别用户和系统的面向性：OLTP面向事务，日常操作；OLAP面向分析，用于决策支持。数据内容：OLTP当前数据；OLAP历史数据数据库设计：OLTP使用ER图、面向应用；OLAP使用星形模式或雪花，面向主题。视图：OLTP是详细的，一般
ODS：操作数据存储ODS（Operational Data Store）,操作型数据仓库，最早的数据仓库模型,是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征。特点是数据模型采取了贴源设计，业务系统数据库数据结构是怎样的，ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史，所以ODS数据库中每张表都会增加一个日期类型，表示数据的时点
