支持多种部署方式来构建Hadoop集群。按：存储/计算绑定模型：将存储节点（Data Node）和计算节点（Task Tracker）部署在相同的虚拟机中。这是最直接简单的部署模型，可以用于概念验证和承载小规模集群的数据处理任务。单一计算模型：只部署计算节点（Job Tracker和Task Tracker）的集群类型。存储/计算分离模型：将存储节点（Data Node）和计算节点（Task Tr
转载
2023-07-21 14:50:41
74阅读
维度建模（dimensional modeling）是数据仓库建设中的一种非常重要的数据建模方法，是将数据进行结构化的逻辑设计方法。维度建模由数据仓库领域的大师Ralph Kimball最先提出，他所参与著作的《数据仓库工具箱》是数据仓库工程领域最流行的数仓建模经典著作。维度建模是从分析决策的需求为出发点，构建数据模型，构建的数据模型是服务于数据分析需求。维度建模在解决更快速完成数据分析需求的同时
转载
2023-08-16 09:52:22
175阅读
维度建模主要源自数据集市，主要面向分析场景。维度建模以分析决策的
原创
2022-07-02 00:02:49
377阅读
维度建模，比起传统的数仓结构，简单明了，扩展性和耦合性也有所提高。维度建模主要就是围绕着维度表与事实表而进行的。维度建模就是引入了了这两个表。维度和事实我的理解是不需要抠细节，不需要过分的强调哪一张表是维度表哪一张表是事实表，维度表在设计的时候主要就是为了扩展事实，在有的时候不同的事实可能会让其他的事实表跟着变成了维度表，我的理解是维度表是围绕着某一个事实表而服务的，在这
维度模型：1.星形模型 2.雪花模型维度建模的步骤：1. 选择业务流程2. 声明事
原创
2022-12-07 14:51:26
101阅读
分类目录：商业智能《维度建模》总目录数据仓库和商业智能（Data Warehousing and Business Intelligence，DW/BI）行业渐趋成熟。尽管初期仅有部分大型公司采用，但从那时起，DW/BI逐渐为各种规模的公司所青睐。业界已建立了数以千计的DW/BI系统。随着数据仓库原子数据的不断增加以及更新越来越频
原创
2022-01-24 17:52:26
361阅读
维度建模法维度建模将信息组织到结构中，这些结构通常对应于分析者希望对数据仓库数据使用的查询方法。1999 年第三季度西北地区的食品销售额是多少？表示使用三个维度（产品、地理、时间）指定要汇总的信息。星型模式之所以广泛被使用，在于针对各个维作了大量的预处理，如按照维进行预先的统计、分类、排序等。通过这些预处理，能够极大的提升数据仓库的处理能力。特别是针对 3NF 的建模方法，星型模式在性能上占据明显
转载
2023-07-19 11:05:11
114阅读
凡是建设数据仓库，一定会提到维度建模方法。这一方法是Kimball最先提出的，其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。在维度建模方法体系中，维度是描述事实的角度，如日期、商品、地址等，事实是要度量的指标，如用户数、销售额等。按照一般书籍的介绍，维度建模还会分为星型模型、雪花模型等，各有优缺点，但很少直接回答一个问题，也就是数据仓库为什么要采用维度建模？这个问题的基本判断在于
转载
2023-10-27 15:08:18
220阅读
5.2 维度建模维度建模是一种将大量数据结构化的逻辑设计手段，包含维度和指标，它不像ER模型目的是消除冗余数据，维度建模是面向分析，最终目的是提高查询性能，所以会增加数据冗余，并且违反三范式。维度建模也是重点关注让用户快速完成需求分析且对于复杂查询及时响应，维度建模一般可以分为三种：星型模型雪花模型星座模型其中最常用的其实是星型模型5.2.1 背景在多维分析的商业智能解决方案中，根据事实表和维度表
转载
2024-06-10 00:18:14
62阅读
数据仓库建模规划（绝对重点）1. ODS层1）HDFS用户行为数据2）HDFS业务数据3）针对HDFS上的用户行为数据和业务数据，我们如何规划处理？（1）保持数据原貌不做任何修改，起到备份数据的作用。（2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）（3）创建分区表，防止后续的全表扫描2. DIM层和DWD层DIM层DWD层需构建维
转载
2023-07-12 21:00:21
113阅读
数据仓库建模（四）：维度表的设计一、维度表的整体结构1.1 维度表的结构设计1.2 维度代理键1.3 自然键、超久键和超自然键1.4 下钻与上卷1.5 维度退化1.6 非规范化的扁平维度1.7 多层次维度1.8 维度属性的标识与状态信息1.9 维度表中的空值属性1.10 日历日期维度1.11 扮演角色的维度1.12 杂项维度1.13 雪花维度1.14 支架维度二、使用一致性维度集成2.1 一致性
转载
2023-10-19 08:53:15
15阅读
一、两种建模思想对于 Inmon 和 Kimball 两种建模方式可以长篇大论叙述，但理论是很枯燥的，尤其是晦涩难
原创
2022-07-18 15:24:40
694阅读
# 维度建模架构入门指南
维度建模是一种数据建模技术，它将数据结构化到一个易于理解和查询的形式，主要用于数据仓库和商业智能应用。在本篇文章中，我们将指导一位刚入行的小白，理解并实现维度建模的过程。
## 维度建模流程
在实施维度建模之前，我们需要明确整个流程，以下是主要步骤：
| 步骤 | 描述 | 工具/技术
全方位解读星型模型,雪花模型及星座模型背景1.星型模型2.雪花模型3.星座模型4.对比5.总结 背景在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型，雪花型模型及星座模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型，雪花型模型还是星座模型进行组织。1.星型模型星形模型中有一张事实表，以及零个或多个维度表，事实表与维度表通过主键外键相关联，维度表
转载
2024-03-31 08:54:18
105阅读
1. OLTP与OLAP当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查
转载
2023-09-20 04:43:36
185阅读
0x00 前言下面的内容，是笔者在学习和工作中的一些总结，其中概念性的内容大多来自书中，实践性的内容大多来自自己的工作和个人理解。由于资历尚浅，难免会有很多错误，望批评指正！概述数据仓库包含的内容很多，它可以包括架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。各种数据建模方法，如维度建模。调度系统、元数据系统、
转载
2023-11-02 10:38:55
92阅读
个人觉得维度建模是展现分析数据的首选技术，主要是基于一下两个需要同时满足的需求： （1）以商业用户可理解的方式发布数据 （2）提供高效的查询性能 维度建模并不是一种新技术，例如数据库用这种方式来简化，简单性至关重要，因为他能够确保用户方便地理解数据，以及确保应用能快速，有效的发现及发布结果 举一个例子：加入某个个业务经理描述业务为：“我们在各种各样的市场销售产品，并不断地对我们的表现进
转载
2023-12-19 22:22:24
48阅读
收集业务需求与数据实现开始维度建模工作前，需要理解业务需求，以及作为基础的源数据的情况。通过与业务代表交流
原创
2021-08-02 13:43:07
852阅读
维度建模
围绕三个问题来展开
1、怎么组织数据仓库中的数据？
2、怎么组织才能使得数据的使用最为方便和便捷？
3、怎么组织才能使得数据仓库具有良好的可扩展性和可维护性？
维度建模两大派系 Bill Inmon
## Hive 商品维度建模
### 1. 简介
在数据仓库中，商品维度是一个非常重要的维度，它描述了每个商品的属性和特征。Hive是一个基于Hadoop的数据仓库工具，可以方便地进行数据分析和查询。本文将向你介绍如何使用Hive实现商品维度建模。
### 2. 流程
下表展示了实现“Hive 商品维度建模”的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1. 创建维度
原创
2023-10-12 09:01:12
75阅读
