在数据分析相关内容中，包括两大重要内容：一是底层数据系统建设内容，二是业务报表相关内容梳理。一是系统基础，二是基础之上的业务逻辑衍生。 在番茄风控之前的数据分析课程中，主要集中在以上的第二点即业务相关报表内容进行展开： 有童鞋跟我们交流，是否能稍微对第一种即底层基础的架构内容如数仓相关基础知识进行讲解？ 今天跟大家介绍跟底层数据仓库建设方面的内容。类似数仓模型建设中，内容有关于明细模型、汇总模型、
1.什么是数据仓库? 一个面向主题的、继承的、相对稳定的、反应历史变化的数据集合,用于支持管理决策.2.数据仓库的根本目的? 本质就是为了支持企业内部的商业分析和决策. (企业的经营管理,基于数据仓库的分析结果,做出相关的经营决策)3.数仓历史 从上世纪90年代兴起 --> 指导企业开展生产经营管理 --> 在众多企业中应用广泛4.数仓的体系结构数据源: 企业生产、经营、业务等数据,用
转载
2023-08-21 14:20:13
74阅读
标题为什么要分层数仓的分层不能为了分层而分层。数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。数仓分层的主要原因：清晰数据结构 每一个数据分层都有它的作用域，这样在使用表的时候能更方便的定位和理解。数据血
数据仓库的基本架构 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓
转载
2023-08-04 20:43:31
66阅读
P4 004-尚硅谷数仓概念-总体描述
原创
2022-07-28 14:02:26
74阅读
0x00 前言翻出来之前零零散散写的数据仓库的内容，重新修正整理成一个系列，此为第一篇《数据模型》。数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组件为中心的数据架构体系调度系统、元数据系统、ETL系统这类辅助系统各种数据建模方法，如维度建模我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的
归纳起来就是主题域设计分层设计维度建模反第三范式操作，星型模型和星座模型分区设计 依照逻辑模型，在数据库中进行建表、索引等。数据仓库，为了满足高性能的需求，可以增加冗余、隐藏表之间的约束等反第三范式操作。这一阶段，主要针对的是数据库、硬件、性能。范式：第一范式：数据库表的字段都是单一属性，不可再分。第二范式：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖。（部分函数依赖指的是
建模流程业务建模根据业务部门进行划分，理清部门之间的关系，然后将各个部门的具体业务程序化，与业务部门开会协商出需求的指标、保存年限、维度等等。总体来讲，就是要知道他们需要哪些指标以及他们能提供哪些数据。业务建模的时间最长，而且与公司实际的业务环境息息相关，因此在这里需要根据实际生产环境和业务需求确认好数据仓库使用的工具和平台。概念建模将业务模型抽象化，分组合并类似的概念，细化概念，抽象出实体与实体
转载
2023-07-12 09:48:24
83阅读
数据仓库的逻辑设计基于维度的模型数据仓库设计的理念就是去解决业务的问题。在大多数情况下，业务人员和执行人员关心的是从某些角度（产品，客户，雇员，时间）来聚合有意义的值（销售额，成本，收益）。从这个角度出发，他们需要知道的基于的这些角度我们就称之为维度。星型模型一种传统的设计模式（star schema）相关的维度值被设计在一个或者多个维度表中相关的度量值被设计在一个或多个事实表中事实表和维度表通过
业务驱动
任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是关系到项目成败的关键所在 , 从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的 ,但是数据仓库不同于日常的信息系统开发 , 除了遵循其他系统开发的需求 , 分析 , 设计 , 测试等通常的软件声明周期之外 ; 他还涉及到企业信息数据的集成 , 大容
数据模型对于数仓是最核心的东西，数据模型是数据组织和存储方法，模型的好坏，决定了数仓能支撑企业业务多久。为什么大多数企业，数仓都要重建，这不仅仅是业务拓展、发展迅速，很大一部分是因为模型建的很烂。一、基本概念维度建模，是数据仓库大师Ralph Kimball提出的，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快
目录数据分层通用的数据分层设计一、数据运营层：ODS（Operational Data Store）二、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）三、数据应用层：APP（Applica
一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素，包括：业务需求：从了解业务需求着手分析业务特点和业务期望；系统架构：从系统架构和数据分布、数据特性等角度，分析系统架构设计上是否有问题；逻辑设计：从数据模型逻辑设计出发是否设计合理，是否符合数据库开发和
数据仓库模型设计1.数据仓库模型 数据模型：实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义、命名和编码，主要描述企业的信息需求和业务规则，是业务人员和开发人员沟通的语言。 数据仓库模型设计定义了数据仓库从业务需求到数据组织的整个过程。一般为三个层次：概念模型、逻辑模型、物理模型。概念模型 最高层次，主要反映数据仓库主题和重要业务之间的关系。 设计工作：①确定系统边界，需求收集和分析，
转载
2023-09-03 21:30:01
78阅读
前言 今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。一、维度建模基本概念 维度模型是数据仓库领域大师Ral
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。1、什么是数据建模： 数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式
数据仓库概念1.概念模型设计所要完成的工作是:(1)界定系统边界要做的决策类型有哪些？决策者感兴趣的是什么问题？这些问题需要什么样的信息？要得到这样信息需要包含原有数据库哪些数据？(2)确定主要的主题及其内容:主题是基于业务来说的，不是技术本身。如果业务能够按照一定规模分割出独立的几个模块，那每个模块就是一个主题域。这是分而治之的思想 客户主题的含义可以简单给你解释为以客户号为主键的事实
转载
2023-07-14 11:17:13
93阅读
本文介绍数据仓库中常见的模型：范式建模，雪花模型，星型建模，事实星座模型。星型模型星型模型是数据集市维度建模中推荐的建模方法。星型模型是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星型模型的特点是数据组织直观，执行效率高。因为在数据集市的建设过程中，数据经过了预处理，比如按照维度进行了汇总，排序等等，数据量减少，执行的效率就比较高。雪花模型雪花模型也是维度建模中的一种选择。雪花模型
转载
2023-06-07 12:23:49
98阅读
数据仓库——数据建模数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型
性能：良好的模型能帮我们快速查询需要的数据，减少数据的IO吞吐成本：减少数据冗余、计算结果复用、从而降低存储和计算成本效率：改善用户使用数据的体验，提高使用数据的效率改善统计口径的不一致性，减少数据计算错误的可能性E
维度建模是DW/BI系统的核心，他是ETL系统的目标、数据库的结构、支持用户查询和制作报表的模型。建模要实现3个主要设计目标，分别是：能尽可能简洁的向用户展示需要的信息；能尽快返回查询结果给用户；能提供相关信息，以便精确的跟踪潜在的业务过程。 维度建模能使任何事情尽可能简单，但绝不是简化。在数据仓库和商业智能中，维度
转载
2023-08-13 16:52:10
75阅读
