数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围和使用，从高度上进行抽象概括，也就是划分主题域。一般划分为8个主题域：客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域？划分主题域，是根据业务的应用和需要来划分的，是用来达到数据与业务紧耦合的目的。2，逻辑模型对概念模型中的主题进
分类： 数据仓库与数据挖掘 Technorati 标签: 数据仓库,模型设计
数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围和使用，从高度上进行抽象概括，也就是划分主题域。一般划分为8个主题域：客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域？划分主题域，是
转载
2023-08-02 21:47:19
254阅读
# 数据仓库主题划分
数据仓库是一个专门用于存储和分析大量数据的系统，其设计和构建需要经过严格的规划，以确保数据的高效存取和分析。数据仓库的主题划分是其设计的一个重要方面，意味着将数据按照特定的主题进行组织，以便于进行分析和报表生成。在这篇文章中，我们将深入探讨数据仓库主题划分的概念、流程及其实现方式，并通过代码示例来帮助理解。
## 什么是数据仓库主题划分？
数据仓库的主题划分是将数据按照
逻辑建模能直接反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用，它的作用在于可以通过实体和关系勾勒出企业的数据蓝图。 数据仓库逻辑建模的内容主要有： 1.分析主题域 在概念模型设计中，我们确定了几个基本的主题域，但是，数据仓库的设计方法是一个逐步求精的过程，在进行设计时，一般是一次一个主题或一次若干个主题地逐步完成的。所以，我们
转载
2023-09-17 12:24:15
136阅读
1．主题的概念主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整并且一致的描述，能刻画各个分析对象所涉及的企
以下为数仓建设知识积累：一、数据仓库建设流程数据驱动+应用驱动模式相结合，保证数据模型具有良好的稳定性与可扩展性： 三、模型设计方法1、设计规范（1）需求规范规范化需求提出途径、留档存底、避免重复提出（2）设计过程规范化需求分析过程，设计过程，避免遗漏事项造成不利影响（3）模型命名统一模型命名，风格统一，便于管理、维护及使用（4）字段命名统一字段命名，实体属性规范化，整洁干练
转载
2023-08-13 19:20:32
117阅读
数据仓库基础1. *数仓中是如何划分主题的？主题（Subject）是在较高层次上将企业信息系统中的数据进行综合，归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。 主题是根据分析的要求来确定的。这与按照数据处理或应用的要求来组织数据是不同的。
本文主要围绕架构、分层、建模三个方面，进一步加深对数仓的了解。1 数据仓库的架构从整体上来看，数据仓库体系架构可分为：数据采集层、数据计算层、数据服务层和数据应用层，如下图。 数据仓库架构 1. 数据采集层数据采集层的任务就是把数据从各种数据源中采集和存储到数据库上，期间有可能会做一些 ETL（即抽取、转换、装载）操作。其中，日志所占份额最大，存储在备份服务器上的
转载
2023-10-09 21:40:45
260阅读
什么是指标？指标，是用于衡量事物发展程度的单位或方法，也常被称作度量，通常情况下也是报表统计的字段，例如：人口数、营业收入、用户数、利润率、成功率、失败率、覆盖率等。//1数仓指标的构成❖ 数据域数据域是统一数仓层的顶层划分，是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，面向业务分析，一个数据域对应一个宏观分析领域，比如采购域、供应链域、HR域等。数据域是抽象、提炼出来
定义及特点数据仓库(Data Warehouse,简称DW)是面向主题的、集成的、稳定的、反映历史变化的数据集合。面向主题主题是业务数据特点的一种抽象表达，一般从主题名称字面意思即可大致了解主题下数据的业务意义。常见主题如客户主题，其下实体有客户基本信息、客户资产信息等等。集成包括数据的集成及编码规则的集成。数据仓库中的数据通常来自于各不同源业务应用系统，在入数据仓库时，这些数据可能被集成。另外，
转载
2023-11-02 21:07:27
141阅读
一、概述1、概念 维度建模思想事数据仓库领域的另一位大师 Ralph Kimball 所倡导，按照书中主要思想，维度建模并不要求维度建模满足三范式，数据库中强调3NF 主要是为了消除冗余。规范化的 3NF 将数据划分为多个不同的实体，每个实体构成一个关系表。比如说订单数据库，开始可能是每个订单中的一行表示一条记录，到后来为了满足3NF会变成类似蜘蛛网状图。也许会包含上百个规范化表。而且对于BI查询
转载
2023-10-01 10:47:18
430阅读
一、前言 分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础，介绍NCR FS-LDM主题域模型的划
数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？这里就需要有良好的数据分区和数据模型，那数据分区在第三部分数据架构中已经介绍，本节将介绍如何进行数据模型的设计。1、各数据分区的模型设计思路： 数据架构部分中提
大家好，我是峰哥，前几天跟一个朋友聊了一些数据中台建设的内容，针对数据仓库中主题域如何划分这个话题聊了很多。其实数据仓库建设的理论大家已经都知道了不少，也看过不少书，那么在实际建设数据仓库中，我们还是会遇到各种问题。今天我们就一起聊聊主题域如何划分？什么是主题主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应
一、前言数据仓库具有面向主题的特性，那么就会有主题的概念，数仓建设是遵循纵向分层开发，横向划分主题域设计，数仓分层就不在这次谈了，这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分，和数据域是什么，业务过程等。这个对于大数据数仓工程师来说是必备的能力，比如当你面临着一个新业务的开启，需要从0到1开始搭建数据仓库或者数据集市，这时候就要考虑到主题域和主题的合理划分。当然
转载
2023-08-28 17:31:08
277阅读
数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如我们的数据该怎么进行规范，元数据又该怎么来管理，每个过程需要哪些系统或者工具来进行配合呢？这些问题都是数据治理过程中最实际的问题，也是最复杂的问题，今天我们将（以银行数据治理为例）从数据治理的各个核心领域来解答这些问题。银行数据治理核心领域每个数据治理的领域都可作为一个独立方向进行研究治理，目前总结的
现在行业里，谈起技术都要提下“大数据”、“云计算”等关键词，好像不提都显得技术不够档次似的。然而要“玩”好大数据，数据仓库建模尤其重要。这里从概念、必要性、理论与实践3个方面娓娓道来，和可爱的你一起“懂“点数仓建模～概念篇数据库（database）与数据仓库（data warehouse） 数据库大家比较熟悉了，这里不再赘述。主要来看数据仓库。数据仓库是面向主题的（Subject-Oriented
什么是主题主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。简单说，一个主题对应一个分析对象。分析对象就是在决策、分析时重点关注的东西，这个东西其实是非常主观的，在不同的企业，或者企业的不同发展时期，所关注的点会不一样，从而影响有些主题可能存在或者不存在。数据仓库是面向
背景：数据仓库之父 Bill Inmon 将数据仓库描述为一个面向主题的、集成的、稳定的、反应历史变化的数据集合，用于支持管理者的决策过程。从上面的引言里面，我们其实可以知道主题在数仓建设里面绝对是很重要的一环，这的确是的。数仓在建设过程中，对数据的组织管理上，不仅仅要进行横向的分层，也需要根据业务情况进行纵向的主题域划分。看到这里可能就有疑问了，上面明明说的是面向主题，怎么又突然说到主题域了，这
转载
2023-09-15 15:39:10
230阅读
