数据仓库是用来分析数据并且从现有数据中发现新的价值，主要是用来预测未来的情况。数据仓库并不是解决所有问题的通用结构。它必须集中于某一问题领域，例如航空服务、顾客收益等。数据仓库也有有趣的一面，那就是数据库本身是稳定增长的。数据没有被删除，也不发生变更。我们不需要将冗余数据置于数据库之外（因为加入仓库中的数据经过了数据净化的过程，该过程检查了数据的正确性）来减少复杂性同时增强读取操作的性
转载
2024-08-11 13:04:36
36阅读
前面介绍了一些抽象建模方法和理论，可能理解起来比较困难。所以，这里举一个例子说明数据仓库建模的大概规程。一、背景介绍 熟悉社保行业的人员知道，目前我们国家的社保主要分为养老、失业、工伤、生育、医疗保险和劳动力市场这6大块主要业务领域。在这6大业务领域中，目前的状况养老和事业的系统已经基本完善，已经有一部分数据开始互联网监测。而对于工
转载
2023-06-06 21:47:11
259阅读
第一章 维度建模初步数据仓库或者商业智能首先应该考虑的是业务需求数据仓库或者商业智能的项目需要数据库管理员+商业分析师1.1数据获取与数据分析的区别数据获取：通过操作型系统记录数据，后者手工导入数据库中数据分析：对记录在操作型系统的数据进行汇总、加工，对于操作过程是否正确给予检查 1.2数仓和商业智能的目标简单快捷：数据要让业务人员一看就明白；数据结构与标识符合业务用的思维过程和词汇；
转载
2023-12-18 21:08:37
69阅读
建模工具，一般企业以Erwin、powerdesigner、visio，甚至Excel等为主。PowerDesigner是Sybase的企业建模和设计解决方案，是能进行数据库设计的强大的软件，是一款开发人员常用的数据库建模工具。使用它可以分别从概念数据模型(Conceptual Data Model)和物理数据模型(Physical Data Model)两个层次对数据库进行设计。ERWin&nb
转载
2023-06-07 14:45:32
976阅读
面试题整理一、数据仓库基础1.范式建模和维度建模2.主题域划分3.数据仓库分层优点4.事实表分类5.缓慢变化维6.数据输出SLA保障7.大表JOIN大表优化二、Hive基础1.HIVE SQL优化2.Hive Join类型3.Hive Map和Reduce个数4.Hive Map和Reduce的Shuffle过程5.Hive JOIN,GROUPBY过程1.JOIN2.GROUP BY6.Hiv
转载
2023-06-07 13:33:44
203阅读
文章目录一. 建模过程概述二. 组织工作2.1 确定参与人 ，特别是业务代表们2.2 业务需求评审2.3 利用建模工具2.4 利用数据分析工具2.5 利用或建立命名规则2.6 日历和设施的协调三. 维度模型设计3.1 统一对高层气泡图的理解3.2 开发详细的维度模型3.3 模型评审与验证参考: 一. 建模过程概述 开始讨论维度建模设计工作前，必须考虑正确的人选 。最值得注意的是，我们强烈主张业
转载
2024-04-16 11:15:48
96阅读
首先我们先查看三个问题：①什么是数据模型；②为什么需要数据模型；③如何创建数据模型；一、什么是数据模型 数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型表现的抽象的实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体的业务关
转载
2023-08-11 14:28:30
103阅读
域分析就构成一个维度。再比如"昨天下
转载
2023-10-18 08:39:11
117阅读
w 缺少方法论 数据模型管理工具：不是DDL、excel、word 表有时间戳字段：便于今后ETL-抽取 逻辑建模使用CASE工具：如PowerDesign 逻辑模型应与之上（前）的概念模型一致 使用CASE工具由逻辑模型生成物理建模应用术语表自动生成物理模型的字段 数据建模师有效地和客户沟通，问出
转载
2017-06-23 22:17:00
260阅读
2评论
作者：穆晨来源：https://www.cnblogs.com/muchen/p/5310732.html阅读目录前言维度建模的基本概念维度建模的三种模式实例：零售公司销售主题的维度建...
转载
2021-07-12 17:45:21
246阅读
文章目录大数据面试题_数据仓库篇离线数据仓库1、为什么要对数据仓库分层？2、数据建模用的哪些模型？3、你感觉数仓建设中最重要的是什么 大数据面试题_数据仓库篇离线数据仓库1、为什么要对数据仓库分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因 此数据仓库会存在大量冗余的数据。如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清 洗过程，工作量巨大。通过数据分层
转载
2023-09-05 09:43:43
84阅读
@目录第1章 数仓分层1.1 为什么要分层1.2数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型第2章 数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模2.3 维度表和事实表（重点）2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.
转载
2023-06-07 15:02:22
128阅读
许久不见。咱们接着之前的来讲，你应该按我说的把kettle给学了一遍了吧？没学的话请赶紧去学，否则后面你也看不懂。 咱们今天从数仓理论开始讲！数据仓库维度模型设计1 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快
目录1 常见的建模方法1.1. 星型模型1.2. 雪花模型2 数据分层方法2.1 调用原则3 数据仓库分层3.1 空间换时间3.2 分层的价值 1 常见的建模方法 1.1. 星型模型星型模型是一种多维的数据关系，它由一个事实表和一组维度表组成。每个维度表都有一个维作为 主键，所有这些维的主键组合成事实表的主键。强调的是对维度进行预处理
原创
2021-10-06 16:26:30
386阅读
作者：穆晨来源：https://www.cnblogs.com/muchen/p/5310732.html阅读目录前言维度建模的基本概念维度建模的三种模式实例：零售公司销售主题的维度建...
转载
2021-07-12 17:45:20
278阅读
个人觉得维度建模是展现分析数据的首选技术，主要是基于一下两个需要同时满足的需求： （1）以商业用户可理解的方式发布数据 （2）提供高效的查询性能 维度建模并不是一种新技术，例如数据库用这种方式来简化，简单性至关重要，因为他能够确保用户方便地理解数据，以及确保应用能快速，有效的发现及发布结果 举一个例子：加入某个个业务经理描述业务为：“我们在各种各样的市场销售产品，并不断地对我们的表现进
转载
2023-12-19 22:22:24
48阅读
对数据分析越来越深入，越来越发现数据标准化的重要性，再高明的数据分析技术，没有规范统一的数据仓库，也是“巧妇难为无米之炊”。遂从头再对数据仓库技术进行一边梳理。 1. 维度建模理论概要1.1 维度设计的主要流程1.1.1 选择业务过程业务过程是组织完成的操作性活动，例如：获得订单、处理保险索赔、学生课程注册或每个月每个账单的快照等。业务过程事件建立或获取性能度量，并转换成事实表中的事实。
转载
2023-10-18 06:35:03
82阅读
维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表（SalesOrder：业务事实——下单记录、支付记录、加入购物车记录…）和维度表（业务事实的描述信息——何人何时何地）呈现出来。表结构简单，故查询简单，查询效率较高。第一范式：属性不可切割；第二范式：不存在部分函数依赖；第三范式：不存在传递函数依赖。 一个典型的维度建模一般需要经过如下几个步骤：业务
转载
2023-09-14 17:09:11
75阅读
1、数据仓库1.1、数据仓库概述数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2、数据仓库核心架构2、数据仓库建模概述2.1、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在
转载
2023-09-07 17:32:32
20阅读
一个好的数据仓库离不开前期高质量的数据建模，数据建模的一般有5个步骤.1. 确定主题2. 确定量度【统计的指标】3. 确认粒度【最小粒度原则】4. 确认维度【分析的各个角度，确认维度的层次和级别】5. 创建事实表模型阶段产出：业务模型---领域模型---逻辑模型---物理模型 业务建模，生成业务模型，主要解决业务层面的分解和程序化。领域建模，生成领域模型，主要是对业务模型进行抽象处理
转载
2023-05-31 11:42:05
140阅读
