数据库原理（二）- 数据模型数据模型是什么？数据模型的分类物理模型概念模型逻辑模型层次模型网状模型关系模型数据模型的组成要素数据库原理目录借鉴 数据模型是什么？数据模型（Data Model）是一种模型，它是对现实世界数据特征的抽象。可以说数据模型是用来描述数据、组织数据和对数据进行操作的，是数据库系统的核心和基础。数据模型的分类数据模型应满足三方面要求，一是能比较真实地模拟现实世界，二是容易为
目录0 参考列表1 概念2 主题2.1 概念2.2 划分方法3 建模方法3.1 实体建模法3.2 范式建模法3.3 维度建模法4 数仓建模流程4.1 业务建模4.2 概念模型4.3 逻辑建模4.4 物理建模0 参考列表数仓建模—建模流程1 概念 (1) 数据模型:是抽象描述现实世界的一种工具和方法,通过对实体和实体
逻辑建模能直接反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用，它的作用在于可以通过实体和关系勾勒出企业的数据蓝图。 数据仓库逻辑建模的内容主要有： 1.分析主题域 在概念模型设计中，我们确定了几个基本的主题域，但是，数据仓库的设计方法是一个逐步求精的过程，在进行设计时，一般是一次一个主题或一次若干个主题地逐步完成的。所以，我们
转载
2023-09-17 12:24:15
136阅读
一、星型模型：是一种费正规化的结构，多维数据集的每一个维度都直接与事实表相连接， 不存在渐变维度，所以数据有一定的冗余。二、雪花模型当有一个或者多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展，原有的各维度表可能被扩展为小的事实表，形成一些局部的“层次”区域，这些被分解的表都连接到主维度表而不是事实表。它的优点
归纳起来就是主题域设计分层设计维度建模反第三范式操作，星型模型和星座模型分区设计 依照逻辑模型，在数据库中进行建表、索引等。数据仓库，为了满足高性能的需求，可以增加冗余、隐藏表之间的约束等反第三范式操作。这一阶段，主要针对的是数据库、硬件、性能。范式：第一范式：数据库表的字段都是单一属性，不可再分。第二范式：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖。（部分函数依赖指的是
以下为数仓建设知识积累：一、数据仓库建设流程数据驱动+应用驱动模式相结合，保证数据模型具有良好的稳定性与可扩展性： 三、模型设计方法1、设计规范（1）需求规范规范化需求提出途径、留档存底、避免重复提出（2）设计过程规范化需求分析过程，设计过程，避免遗漏事项造成不利影响（3）模型命名统一模型命名，风格统一，便于管理、维护及使用（4）字段命名统一字段命名，实体属性规范化，整洁干练
转载
2023-08-13 19:20:32
117阅读
数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围和使用，从高度上进行抽象概括，也就是划分主题域。一般划分为8个主题域：客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域？划分主题域，是根据业务的应用和需要来划分的，是用来达到数据与业务紧耦合的目的。2，逻辑模型对概念模型中的主题进
硬件和IO要求     IO:考虑高吞吐量     磁盘：使用条件化分散热点读写     冗余：增加磁盘冗余 表的设计：     使用分区 查询方法:     使用并行，增加并行度提高查询速度 索引设计：  
原创
2013-07-10 17:07:03
958阅读
什么是主题主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。简单说，一个主题对应一个分析对象。分析对象就是在决策、分析时重点关注的东西，这个东西其实是非常主观的，在不同的企业，或者企业的不同发展时期，所关注的点会不一样，从而影响有些主题可能存在或者不存在。数据仓库是面向
背景：数据仓库之父 Bill Inmon 将数据仓库描述为一个面向主题的、集成的、稳定的、反应历史变化的数据集合，用于支持管理者的决策过程。从上面的引言里面，我们其实可以知道主题在数仓建设里面绝对是很重要的一环，这的确是的。数仓在建设过程中，对数据的组织管理上，不仅仅要进行横向的分层，也需要根据业务情况进行纵向的主题域划分。看到这里可能就有疑问了，上面明明说的是面向主题，怎么又突然说到主题域了，这
转载
2023-09-15 15:39:10
228阅读
什么是数据仓库数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。处理过程收集、清洗、整合来自多个数据源的数据。数据仓库描述：一个面向主题的、集成的、随时间变化的、非易失的数据集合。面向主题：数据仓库是面向主题的。主题是一个抽象概念，简单地说就是与业务相关的数据的类别，每一个主题基本对应一个宏观的分析领域。主题域是对某个主题进行分析后确定的主题的边界；集成：集成的概念与面向主题是密切相
1．主题的概念主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”。面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整并且一致的描述，能刻画各个分析对象所涉
一、各行业使用的分层模型不同的行业使用的分层也有所不同，但思想都差不多1.电信通讯stage层 ->bdl层 ->analysis层2.传统金融/保险ods层 ->pdm层 ->dm层3.互联网金融/电商odl层 ->bdl层 ->idl层 ->adl层二、专业术语ODL层 （Operational Data Layer）：操作数据层 保存原始数据。外
转载
2023-09-20 22:08:03
124阅读
想要数据粒度的合理性、模型的灵活性得到保证，并且能够适应未来的信息资源，需要遵守维度建模的一些原则。否则，很容易会遇到数据仓库障碍，并且把用户弄糊涂。将为你提供几个数据仓库维度建模的原则，让你妥妥地避开“陷阱”。 1.原子数据需详细 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求。 用户通常不希望每次只看到一个单一的记录，但是你无法预测用户想
一、概述1、概念 维度建模思想事数据仓库领域的另一位大师 Ralph Kimball 所倡导，按照书中主要思想，维度建模并不要求维度建模满足三范式，数据库中强调3NF 主要是为了消除冗余。规范化的 3NF 将数据划分为多个不同的实体，每个实体构成一个关系表。比如说订单数据库，开始可能是每个订单中的一行表示一条记录，到后来为了满足3NF会变成类似蜘蛛网状图。也许会包含上百个规范化表。而且对于BI查询
数据仓库的逻辑设计基于维度的模型数据仓库设计的理念就是去解决业务的问题。在大多数情况下，业务人员和执行人员关心的是从某些角度（产品，客户，雇员，时间）来聚合有意义的值（销售额，成本，收益）。从这个角度出发，他们需要知道的基于的这些角度我们就称之为维度。星型模型一种传统的设计模式（star schema）相关的维度值被设计在一个或者多个维度表中相关的度量值被设计在一个或多个事实表中事实表和维度表通过
从0到1构建数据仓库思路：0.建议先和运营构建业务数据矩阵如下表，是业务数据矩阵的表示方法，其中每一列是一个业务主题，每一行是一个数据主题。业务主题：我们可以将一个业务主题理解为运营的一条业务，或者说数据仓库仓库待建设的一个数据集市。数据主题：一般来讲，我们会侧重于将数据主题理解为行为数据主题，比如说登陆、点击、下载等行为主题。如果了解了什么是业务数据矩阵，那么它的作用就很容易被理解。简单来讲：能
power designer是能进行数据库设计的强大的软件，是一款开发人员常用的数据库建模工具。使用它可以分别从概念数据模型(Conceptual Data Model)和物理数据模型(Physical Data Model)两个层次对数据库进行设计。在这里，概念数据模型描述的是独立于数据库管理系统(DBMS)的实体定义和实体关系定义；物理数据模型是在概念数据模型的基础上针对目标数据库管理系统的具
一、分层Q1:什么是分层？本质：规范化数据的处理流程。实现：每一层在Hive中就是一个数据库。Q2:为什么要分层？清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。减少重复开发：规
