1. OLTP与OLAP当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查
转载
2023-09-20 04:43:36
185阅读
1、数据建模常用的模型有哪些？（1）星型模型。 星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。 星形模式的维度建模由一个事实表和一组维表成，且具有以下特点： A、维表只和事实表关联，维表之间没有关联； B、每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键； C、 以事实表为核心，维表围绕核心呈星形分布。
转载
2023-10-08 22:54:04
210阅读
之前我们做过《java mapreduce实现网站PV分析》，这次我们可以用hive分析一些需求指标提出需求：统计分析24小时各个时段的pv和uv分析：（1） pv统计总的浏览量 count(url)（2） uv统计去重 count(distinct guid)（3） 获取时间字段，日期和小时（分区表）最终结果预期 接下来注意每个阶段：采集阶段，清洗阶段，分析阶段。准备数据，查看数据字典
转载
2023-10-18 21:18:25
77阅读
# 科普文章：Hive 日期维度表
## 引言
在数据分析和业务报表中，时间维度是非常重要的。它可以帮助我们进行时间上的分析、趋势预测和业务指标的计算。在Hive中，我们可以通过创建日期维度表来更方便地进行时间相关的操作。本文将介绍什么是日期维度表，以及如何在Hive中创建和使用。
## 什么是日期维度表
日期维度表是一种包含了所有可能日期的表。它通常包含了日期的各种维度信息，比如年、季度
原创
2023-09-03 08:25:17
406阅读
hive表的分类:内部表：管理表/managed_table，表的创建、表的数据的删除都是由hive自己决定的，像mysql中的表，内部表在进行删除的时候，
元数据和原始数据都会被删除。
外部表：external_table，和内部表对立，hive中的表不肯同时是内部表又是外部表的，该表结构上同内部表一样，
但是数据hive自己不能决定，外部表在进行删除的时候，只能删除元数据而原始数据还是存在与
转载
2023-09-01 11:40:59
89阅读
# Python时间维度表Hive科普文章
在数据分析领域，时间维度表是一个非常重要的概念。它可以帮助我们更好地理解数据中的时间信息，并进行更深入的分析。在本文中，我们将介绍如何使用Python和Hive来创建一个时间维度表，并展示如何在数据分析中应用它。
## 什么是时间维度表？
时间维度表是一个包含时间信息的表格，通常包括年份、月份、日期、季度等时间相关的字段。通过时间维度表，我们可以更
原创
2024-04-20 06:45:35
51阅读
Hive中纵向类目表转横向
原创
2023-07-29 07:27:46
282阅读
## Flink 注册 Hive 维度表
作为一名经验丰富的开发者，你要教会一位刚入行的小白如何实现“Flink 注册 Hive 维度表”。在这篇文章中，我将为你详细介绍整个流程，并提供每一步所需的代码和解释。
### 流程概述
下面是实现“Flink 注册 Hive 维度表”的整个流程概述：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 创建一个 Flink Strea
原创
2023-11-27 04:40:48
94阅读
# FlinkSQL维度关联Hive表
## 引言
在大数据处理领域，关联操作是一项非常重要的任务。在关联操作中，维度关联是一种常见的方式。Flink是一个开源的流处理框架，提供了SQL API来进行大规模数据处理。本文将介绍如何使用FlinkSQL来实现维度关联操作，并将关联结果存储到Hive表中。
## FlinkSQL简介
FlinkSQL是Flink框架中的一种高级接口，用于使用S
原创
2024-01-24 03:29:07
111阅读
# Hive维度表建模的实践探讨
在大数据应用中，Hive作为一种重要的数仓解决方案，常常需要对数据进行高效的查询与分析。而维度表的建模则是在这个过程中不可或缺的一环。本文将探讨如何构建Hive维度表，并通过一个具体示例来解决实际问题。
## 维度表的定义与重要性
维度表通常用于存放与业务相关的、相对静态的数据，比如时间、地点、产品等信息。相较于事实表，维度表提供了信息的上下文，使得数据分析
原创
2024-10-02 04:18:26
54阅读
宽表在BI业务中比比皆是，每次建设BI系统时首先要做的就是准备宽表。有时系统中的宽表可能会有上千个字段，经常因为“过宽”超过了数据库表字段数量限制还要再拆分。为什么大家乐此不疲地造宽表呢？主要原因有两个。一是为了提高查询性能。现代BI通常使用关系数据库作为后台，而SQL通常使用的HASH JOIN算法，在关联表数量和关联层级变多的时候，计算性能会急剧下降，有七八个表三四层级关联时就能观察到这个现象
参考了各种博文，学习记录(只记录了工作中用到的)：1. hive 获取当前系统时间： from_unixtime(unix_timestamp(),'yyyyMMdd HH:mm:ss')2. 日期格式转换：yyyyMMdd yyyy-MM-dd 相互转换 from_unixtime(
转载
2023-06-05 00:05:57
231阅读
1.数据建模装逼的解释：是指 对现实世界各类数据的抽象组合，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。通俗的说：1.概念建模阶段： 就是对业务的梳理和理解(1.客户交流 2.需求理解 3.形成实体)2.逻辑建模阶段： 对实体进行细化，细化成具体的表，同时丰富表结构(表／列／索引／约束／视图／存储过程 等等)3.物理建模阶段： 对逻辑建模建模阶段的各种数据库对象 生成 相应的S
转载
2023-09-18 10:17:05
86阅读
**需求：想在phoenix上维护两张宽表，一张作为即席查询使用，只有一天的数据、一张作为历史表。 宽表的特点是：由多个表组合而成，但是每张表的到数时间不一致，有的表先到，有的表可能隔天才到。 想要达到的效果：即席查询用的宽表是来一张表就加载一张表的数据，没来的等来了再加载，中间过程有查询的时候，查询结果是：已经更新的字段（已经到数的表字段）和未更新的字段（没有到数的表字段） 要求：即席查询的宽表
转载
2024-05-30 08:46:51
0阅读
Hive生成日期维度表
转载
2021-07-28 15:38:00
2554阅读
点赞
2评论
目录1 事实表、维度表1.1 什么是事实表呢？1.2 什么是维度表呢？2 数据库三范式2.1 首先看第一范式(1NF):2.2 第二范式(2NF)2.3 第三范式(3NF)3 维度建模模型3.1 星型模型和雪花模型3.1.1 星型模型3.1.2 雪花模型4 数据仓库分层设计1 事实表、维度表首先我们来看两个名词：事实表和维度表1.1 什么是事实表呢？事实表是指保存了大量业务数据的表，或者说保存了一
转载
2024-04-11 20:45:57
174阅读
# Hive时间维度表是什么
Hive是Hadoop生态系统中的一个重要组件，主要用于处理和分析大规模数据集。在数据分析中，时间是一个非常重要的维度，因此Hive提供了时间维度表的概念，以方便用户对时间数据进行管理和分析。
## 什么是时间维度表
时间维度表是一种特殊的数据表，用于存储时间相关的信息，如日期、时间、星期、月份等。时间维度表通常包含以下几列：
- **日期**：表示时间点的日
原创
2024-07-27 06:52:16
47阅读
数据仓库建模规划（绝对重点）1. ODS层1）HDFS用户行为数据2）HDFS业务数据3）针对HDFS上的用户行为数据和业务数据，我们如何规划处理？（1）保持数据原貌不做任何修改，起到备份数据的作用。（2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）（3）创建分区表，防止后续的全表扫描2. DIM层和DWD层DIM层DWD层需构建维
转载
2023-07-12 21:00:21
113阅读
5.2 维度建模维度建模是一种将大量数据结构化的逻辑设计手段，包含维度和指标，它不像ER模型目的是消除冗余数据，维度建模是面向分析，最终目的是提高查询性能，所以会增加数据冗余，并且违反三范式。维度建模也是重点关注让用户快速完成需求分析且对于复杂查询及时响应，维度建模一般可以分为三种：星型模型雪花模型星座模型其中最常用的其实是星型模型5.2.1 背景在多维分析的商业智能解决方案中，根据事实表和维度表
转载
2024-06-10 00:18:14
62阅读
数据仓库建模（四）：维度表的设计一、维度表的整体结构1.1 维度表的结构设计1.2 维度代理键1.3 自然键、超久键和超自然键1.4 下钻与上卷1.5 维度退化1.6 非规范化的扁平维度1.7 多层次维度1.8 维度属性的标识与状态信息1.9 维度表中的空值属性1.10 日历日期维度1.11 扮演角色的维度1.12 杂项维度1.13 雪花维度1.14 支架维度二、使用一致性维度集成2.1 一致性
转载
2023-10-19 08:53:15
15阅读
