1.数据建模装逼的解释：是指 对现实世界各类数据的抽象组合，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。通俗的说：1.概念建模阶段： 就是对业务的梳理和理解(1.客户交流 2.需求理解 3.形成实体)2.逻辑建模阶段： 对实体进行细化，细化成具体的表，同时丰富表结构(表／列／索引／约束／视图／存储过程 等等)3.物理建模阶段： 对逻辑建模建模阶段的各种数据库对象 生成 相应的S
转载
2023-09-18 10:17:05
86阅读
# Hive维度表建模的实践探讨
在大数据应用中，Hive作为一种重要的数仓解决方案，常常需要对数据进行高效的查询与分析。而维度表的建模则是在这个过程中不可或缺的一环。本文将探讨如何构建Hive维度表，并通过一个具体示例来解决实际问题。
## 维度表的定义与重要性
维度表通常用于存放与业务相关的、相对静态的数据，比如时间、地点、产品等信息。相较于事实表，维度表提供了信息的上下文，使得数据分析
原创
2024-10-02 04:18:26
54阅读
1. OLTP与OLAP当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查
转载
2023-09-20 04:43:36
185阅读
1、数据建模常用的模型有哪些？（1）星型模型。 星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。 星形模式的维度建模由一个事实表和一组维表成，且具有以下特点： A、维表只和事实表关联，维表之间没有关联； B、每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键； C、 以事实表为核心，维表围绕核心呈星形分布。
转载
2023-10-08 22:54:04
210阅读
hive表的分类:内部表：管理表/managed_table，表的创建、表的数据的删除都是由hive自己决定的，像mysql中的表，内部表在进行删除的时候，
元数据和原始数据都会被删除。
外部表：external_table，和内部表对立，hive中的表不肯同时是内部表又是外部表的，该表结构上同内部表一样，
但是数据hive自己不能决定，外部表在进行删除的时候，只能删除元数据而原始数据还是存在与
转载
2023-09-01 11:40:59
89阅读
维度建模（dimensional modeling）是数据仓库建设中的一种非常重要的数据建模方法，是将数据进行结构化的逻辑设计方法。维度建模由数据仓库领域的大师Ralph Kimball最先提出，他所参与著作的《数据仓库工具箱》是数据仓库工程领域最流行的数仓建模经典著作。维度建模是从分析决策的需求为出发点，构建数据模型，构建的数据模型是服务于数据分析需求。维度建模在解决更快速完成数据分析需求的同时
转载
2023-08-16 09:52:22
175阅读
数据仓库建模（四）：维度表的设计一、维度表的整体结构1.1 维度表的结构设计1.2 维度代理键1.3 自然键、超久键和超自然键1.4 下钻与上卷1.5 维度退化1.6 非规范化的扁平维度1.7 多层次维度1.8 维度属性的标识与状态信息1.9 维度表中的空值属性1.10 日历日期维度1.11 扮演角色的维度1.12 杂项维度1.13 雪花维度1.14 支架维度二、使用一致性维度集成2.1 一致性
转载
2023-10-19 08:53:15
15阅读
5.2 维度建模维度建模是一种将大量数据结构化的逻辑设计手段，包含维度和指标，它不像ER模型目的是消除冗余数据，维度建模是面向分析，最终目的是提高查询性能，所以会增加数据冗余，并且违反三范式。维度建模也是重点关注让用户快速完成需求分析且对于复杂查询及时响应，维度建模一般可以分为三种：星型模型雪花模型星座模型其中最常用的其实是星型模型5.2.1 背景在多维分析的商业智能解决方案中，根据事实表和维度表
转载
2024-06-10 00:18:14
62阅读
数据仓库建模规划（绝对重点）1. ODS层1）HDFS用户行为数据2）HDFS业务数据3）针对HDFS上的用户行为数据和业务数据，我们如何规划处理？（1）保持数据原貌不做任何修改，起到备份数据的作用。（2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）（3）创建分区表，防止后续的全表扫描2. DIM层和DWD层DIM层DWD层需构建维
转载
2023-07-12 21:00:21
113阅读
目录1、变化维、退化维、一致性维度、维度退化①退化维和维度退化：②缓慢变化维③一致性维度2、数仓主题域划分方式3、Flume拦截器4、SparkSQL VS FlinkSQL异同5、ClickHouse VS Hologres VS Doris 异同1、变化维、退化维、一致性维度、维度退化①退化维和维度退化：什么是退化维(Degenerate Dimensions) 退化维的定义是Ralph Ki
转载
2024-01-25 20:21:22
460阅读
全方位解读星型模型,雪花模型及星座模型背景1.星型模型2.雪花模型3.星座模型4.对比5.总结 背景在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型，雪花型模型及星座模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型，雪花型模型还是星座模型进行组织。1.星型模型星形模型中有一张事实表，以及零个或多个维度表，事实表与维度表通过主键外键相关联，维度表
转载
2024-03-31 08:54:18
105阅读
0x00 前言下面的内容，是笔者在学习和工作中的一些总结，其中概念性的内容大多来自书中，实践性的内容大多来自自己的工作和个人理解。由于资历尚浅，难免会有很多错误，望批评指正！概述数据仓库包含的内容很多，它可以包括架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。各种数据建模方法，如维度建模。调度系统、元数据系统、
转载
2023-11-02 10:38:55
92阅读
## Hive 商品维度建模
### 1. 简介
在数据仓库中，商品维度是一个非常重要的维度，它描述了每个商品的属性和特征。Hive是一个基于Hadoop的数据仓库工具，可以方便地进行数据分析和查询。本文将向你介绍如何使用Hive实现商品维度建模。
### 2. 流程
下表展示了实现“Hive 商品维度建模”的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1. 创建维度
原创
2023-10-12 09:01:12
75阅读
# Hive 时间维度建模：优化数据仓库性能
在数据仓库中，时间维度是最常见的维度之一。它用于跟踪数据随时间的变化，帮助我们分析趋势、预测未来等。Hive 作为大数据处理工具，提供了丰富的时间维度建模功能。本文将介绍 Hive 时间维度建模的概念、方法和代码示例，以及如何使用 Mermaid 语法绘制旅行图和类图。
## 一、时间维度建模的概念
时间维度建模是一种将时间数据组织成层次结构的方
原创
2024-07-25 06:45:38
104阅读
一、维度模型分类:星型模型,雪花模型,星座模型1、星型模型星型模型中只有一张事实表，以及0张或多张维度表，事实与纬度表通过主键外键相关联，维度之间不存在关联关系，当所有纬度都关联到事实表时，整个图形非常像一种星型的结构，所以称之为“星型模型”。注：事实表中只存外键和度量值。 2、雪花模型当一个或多个纬度表没有直接连接到事实表，而是通过其他维度表连接到事实表时，其图解就像多个雪花连
转载
2023-09-15 22:06:09
331阅读
1、维度按照稳定性分为稳定、缓慢变化和变化频繁 （1）稳定的维度，全量抽取 （2）缓慢变化维的处理，有三种处理方式。我们用第二种方法。 就是记录历史变化。1）.维度表的处理 维度表的抽取逻辑：把新的维度union all上已有的维度，已有维度若关联得上当天的数据，并且end_date =‘9999-12-31’,则end_date更新为昨天维度表与事实表关联： a.关系型的数据库，就是join的同
转载
2024-04-28 12:35:29
46阅读
范式建模第一范式:列不可在进行拆分,也就是原子性第二范式:记录有唯一标识,不存在部分依赖 第三范式:要求字段不能由其他字段派生出来,不存在传递依赖;维度建模表模型事实表:记录了事件的数字化信息,一般由数值型数字和维度表的外键组成 此类数据较大 更新比较频繁事务事实表:描述业务过程,保存的是最原子的数据周期快照事实表:以周期为时间间隔,来记录事实累计快照事实表:用来描述过程开始和结束之间的关键步骤事
转载
2023-11-03 15:27:41
35阅读
数据倾斜：操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。• 查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可
转载
2023-07-13 15:58:51
64阅读
维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表（SalesOrder：业务事实——下单记录、支付记录、加入购物车记录…）和维度表（业务事实的描述信息——何人何时何地）呈现出来。表结构简单，故查询简单，查询效率较高。第一范式：属性不可切割；第二范式：不存在部分函数依赖；第三范式：不存在传递函数依赖。 一个典型的维度建模一般需要经过如下几个步骤：业务
转载
2023-09-14 17:09:11
75阅读
之前我们做过《java mapreduce实现网站PV分析》，这次我们可以用hive分析一些需求指标提出需求：统计分析24小时各个时段的pv和uv分析：（1） pv统计总的浏览量 count(url)（2） uv统计去重 count(distinct guid)（3） 获取时间字段，日期和小时（分区表）最终结果预期 接下来注意每个阶段：采集阶段，清洗阶段，分析阶段。准备数据，查看数据字典
转载
2023-10-18 21:18:25
77阅读
