# 学习如何实现“数据仓库中的JIM”
## 一、导言
在数据管理和分析领域，数据仓库是一个重要的概念，而“JIM”通常指的是“数据中的商业智能”（Data in Management Intelligence）。对于一名新入行的开发者来说，实现数据仓库中的JIM包括理解数据流、开发流程以及使用各种技术和工具。本篇文章将为你全面介绍这个过程，并附上必要的步骤、代码示例和流程图，帮助你更好地理解
数据仓库之事实表一、事实表分类1. 以粒度划分（1） 事务事实表（Transaction Grain Fact Table）（2） 周期快照事实表（Periodic Snapshot Grain Fact Table）（3） 累积快照事实表（Accumulating Snapshot Grain Fact Table）（4）三种事实表的区别2. 以用途划分（1）原子事实表（Atom Fact Ta
转载
2023-10-28 06:15:43
104阅读
在这个信息爆炸式增长的时代，挖掘数据的潜在价值尤为重要，越来越多的人将目光聚集于商务智能BI领域。通过数据分析软件对来自不同的数据源进行统一的处理和管理，并以灵活的方式展示数据之间的联系，辅助企业进行决策。在BI越发重要的今天，如何学习BI应用并熟练掌握它呢？总结一下，大致需要从五个方向着手：1）学习数据库知识，掌握基础技能sql直白来讲，BI就是玩数据的，从数据中获取各种所需信息。因为BI的出发
转载
2024-08-26 07:44:15
55阅读
在讨论组里看到很多同行，朋友和DW爱好者们讨论元数据，这里本人就元数据的理解和大家分享一下，如有偏差欢迎批评指正。元数据——“关于数据的数据”这个概念大家都知道了，但是如何理解这个关于数据的数据呢？从概念上我们可以看出，当我们说元数据时，必须有个参照，就是“关于的那个数据”，即这个概念里面有两个“数据”，我们不能孤立地说某个数据是元数据，只能说某个数据（Data A）是另外某个数据的元数据（Dat
转载
2023-12-19 20:29:59
64阅读
1.背景 归纳整理数据仓库的基础知识，了解数据仓库的全貌和可深入学习的部分，本章节会主要梳理Hadoop&Hive&Spark的基础与部分面试题，末尾链接会梳理离线/实时数仓部分技术能力（持续更新，如果我坚持下去了的话，哈哈哈）。其中部分话术来源于网络，会在统一位置进行标注引用，感谢大家在网络上的分享！2.数据仓库知识整理2.1 文章引用&n
转载
2024-08-26 07:58:34
91阅读
元数据管理系统这个名词,从事非数据仓库工作的人，很少会接触到这个系统，即使是正在从事这方面工作的朋友，可能仍然对它不是很了解，那么今天我来聊一聊元数据管理系统。元数据的定义按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分
转载
2023-11-10 12:24:44
44阅读
数据仓库-简介数据仓库定义建立数据仓库的原因为什么不直接访问业务系统用于数据分析使用数据仓库的好处操作型系统与分析型系统操作型系统分析型系统操作型系统和分析型系统对比 数据仓库定义20世纪80年代，IBM研究人员开发出“商业数据仓库”。 本质上，数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。数据仓库之父Bill Inmon在1991年出版的Building the data w
转载
2023-08-11 16:32:56
108阅读
文章目录一、信息系统中的数据1、数据仓库的三层数据结构2、数据分类①、主数据-参考数据-交易数据②、状态数据-事件数据③、当前数据-周期数据3、元数据二、建立数据仓库1、建立数据仓库的方法2、数据组织方式三、多维数据模型1、相关概念2、数据存储方式(1)、基于关系表的存储(2)、基于多维数据库的存储3、子方体三、多维分析1、多维分析基本操作(1)、钻取(2)、切片/切块(3)、旋转2、OLAP的
转载
2023-08-02 17:48:37
57阅读
一、简介1.什么是数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented ）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策和信息的全局共享。 //请熟练记忆粗体字！二、特点1.数据仓库的特点1．数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组
转载
2024-01-02 21:51:12
33阅读
1、数据存储的方式？ 数据仓库的数据由两种存储方式：一种是存储在关系数据库中，另一种是按多维的方式存储，也就是多维数组。2、存储何种数据？ 数据仓库中存在不同的综合级别的数据。一般把数据分成四个级别，早期细节级数据，当前细节级数据，轻度综合级，高度综合级。不同的综合级别一般称为粒
转载
2004-10-19 02:32:00
71阅读
数据仓库元数据管理一、元数据的定义元数据（metadata） 即数据的数据，是描述数据仓库结构和数据仓库建立方法的数据，主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。。元数据可以帮助数据仓库管理员
转载
2023-08-29 16:05:05
65阅读
目录一、数据仓库概念二、数据仓库建模方法1.ER模型2.维度模型2.1事实表事实类型2.2维度表三、数据仓库设计一、数据仓库概念 数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的
转载
2023-11-03 00:28:09
25阅读
文章目录一.数据仓库1.什么是数据仓库1)面向主题2)集成3)非易失4)随时间变化二.数据仓库和数据库的区别三.数据仓库的架构四.数据仓库的建模1.选择业务流程2.声明粒度3.确认维度4.确认事实5.星型模型特点6.雪花模型特点 一.数据仓库1.什么是数据仓库数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合1)面向主题主题（Subject）是在较高层次上将企业信息系统中的数据进行
转载
2023-11-25 15:44:26
55阅读
多种数据类型数据仓库中一般存储的是结构化数据，大部分为数值数据。从这个角度看，决策支持系统分为两类：结构化数据的数据仓库和非结构化数据的知识管理系统。非结构化数据包含非结构化文档、图像、视频、音频和空间数据等。 数据可视化可视化趋势：更多图表类型；交互可视化；庞杂结果可视化。可视化技术的最大变化是从静态的表格到动态交互表达方式的变化，主要表现为表格的可操作性；数据可以向下钻取；可以进行高
转载
2024-01-29 15:51:16
31阅读
数据仓库什么是数据仓库数据仓库（Data Warehouse）是一个面向主题的、集成的、稳定的且随时间变化的数据集合，用于支持管理人员的决策基础知识事实表 事实表是指保存了大量业务数据的表，或者说保存了一些真实的行为数据的表。例如：销售商品所产生的订单数据。维度表 维度指的就是一个对象的属性或者特征，例如：时间维度，地理区域维度，年龄维度这是维度的概念。维度表里面存放的其实就是刚才所说的那些维度相
转载
2024-01-17 09:17:25
72阅读
一、销售案例步骤（一）ODS层建立源数据库并生成初始的数据在Hive中创建源数据过渡区和数据仓库的表日期维度的数据装载数据的ETL => 进入dwd层，本案例简单，不需要清洗（二）DW层dwd层：ETL清洗，本案例不需要dws层：建模型+轻聚合，本案例只需要建模型，太简单，不需要聚合。
轻聚合后建模 => 星型模型【注意，是轻聚合后，成为星型模型】（三）DM层dm层：-> 宽表
转载
2023-05-23 14:02:27
185阅读
数仓分层一.分层的作用二、ODS (opreational data store)三、DWD(data warehouse detail)1.概览2.步骤4.具体需要做的事情5.举例四、DIM1.概念2.举例五、DWS(data warehouse service)1.概念2.举例六、DM(data market)1.概念2.举例七、APP/ADS1.概念2.举例 一.分层的作用数仓分层的目的是
转载
2024-01-08 13:42:39
1150阅读
在前面的博文介绍了PG的hook和数据仓库的join算法之后，现在终于要推出干货了：ppg_fdw。（大家可以从githup：https://github.com/scarbrofair/ppg_fdw上下载代码和相关的简要说明文档）。
总的说来，ppg_fdw基于pgsql的hook和foreign data wrapper机制，力图使用透明的方式，
转载
2023-11-08 22:08:36
71阅读
1.数据同步
因为我们需要每天分析的数据都是最新的，所以就涉及数据同步。
2.表的种类及其概念：
一般情况下表分为三个类型，分别是实体表、维度表和事务表
2.1 实体表：
实体表，一般是指一个现实存在的业务
转载
2024-01-03 12:42:51
102阅读
1、数据仓库的结构 在数据仓库中数据存在着不同的细节级：早期细节级（通常是存储在备用海量存储器上）、 当前细节级、轻度综合细节级（数据集市级）以及高度综合数据级。 数据是由操作型环境导入到数据仓库的，相当数量的数据转换是发生在数据由操作层向数据仓库层传输的过程中。 一旦数据过期后，就由当前细节级进入到早期细节级，综合后的数据由当前细节级进入轻度综合级，然后由轻度综合数
转载
2023-12-18 12:12:37
65阅读
