装逼的解释：是指 对现实世界各类数据的抽象组合，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。通俗的说：1.概念建模阶段： 就是对业务的梳理和理解(1.客户交流 2.需求理解 3.形成实体)2.逻辑建模阶段： 对实体进行细化，细化成具体的表，同时丰富表结构(表／列／索引／约束／视图／存储过程 等等)3.物理建模阶段： 对逻辑建模建模阶段的各种数据库对象 生成 相应的S
一.数据仓库的架构设计数据仓库的主要工作就是ETL ( Extract-Transform-Load)1.2数据架构架构原则:先水平,再垂直数据架构分三层:源数据落地区: (SDF source data file)数据仓库层: DW Data WareHouse数据集市层: DM Data Market数据仓库层进一步分三层源数据层:DWB Data WareHouse Base细节数据层:DW
转载
2023-09-05 09:44:07
135阅读
最近看了尚硅谷的hive高级课程，学有所获，特此与大家分享hive高级进阶-hive优化+hive执行流程hive执行流程： hql语句 -> cliDriver ->DrivercliDriver: 1.解析客户端-e,-f等参数 2.定义标准输入输出流 3.按照';'划分hql语句Driver: 1.将HQL语句转换为AST 2.将AST转换为OperationTree 3.将Op
一、数据仓库基础概念1、数仓概述数据仓库（数仓、DW）：一个用于存储、分析、报告的数据系统。OLAP（联机分析处理）系统：面向分析、支持分析的系统。数据仓库的目的：构建面向分析的集成化数据环境，分析结果为企业提供决策支持。数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用2、数仓特征面向主题：主题是一个抽象的概念，是较
分层建设理论 简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构...
原创
2021-07-12 10:42:34
417阅读
分层建设理论 简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构...
原创
2021-07-12 10:42:32
213阅读
分层建设理论简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结。数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，J
转载
2021-02-03 18:33:16
395阅读
2评论
目录一、数仓各个层级及作用 1，ODS层（Operation Data Store-源数据层） 2，DW层（Data Warehouse-数据仓库层） &
简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结
原创
2022-12-03 23:24:19
126阅读
? 核心: 是将各类hadoop生态圈的软件的操作界面集成在一个软件中 (大集成者)请问, 大数据的工作流程是否可以使用工作流来解决呢? 建模: 如何在hive中构建各个层次的表。
原创
2023-01-12 07:21:37
386阅读
简介 大数据下的数据仓库对数据进行了分层管理，分为ODS、DWD，DWS，ADS层，可以把数仓分层和程序设计中的三层架构进行对比： 相同点： 第N-1层为第N层提供服务，每一层都有单独的职责。 降低复杂度， 减少重复开发，提高复用性 不同点 程序中的分层是为了关注点分离， 而数据的分层更像是一个萃取 ...
转载
2021-05-13 23:42:00
1868阅读
点赞
2评论
ods：数据引入层 （原始数据导入，不做修改） dwd：公共汇总粒度事实层（粒度不变，提供数据质量） dws：明细粒度事实层（最细粒度 宽表层） ads：数据应用层（根据指标构建） ...
转载
2021-09-10 10:29:00
244阅读
2评论
1 什么是数仓数仓是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的清洗、转义、分类、重组、合并、拆分、统计等。数仓的：输入系统，埋点产生的用户行为数据、JavaEE 后台产生的业务数据、爬虫数据输出系统，报表系统、用户画像系统
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所示。数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据
概述数仓分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更容易理解和使用。 数据分层的作用我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是数据分层。数据分层的好处有。①，清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解。②，减少重复开发：规范数据分层，开发一些通用的中间层数据，能减少极大的重复计算。③，
##一、数据仓库之数仓分层 ####（一）为什么要分层？ 大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。如下图，在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系。 因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层 ...
转载
2021-08-02 09:27:00
1166阅读
数仓分层的概念由于我们做数据分析，大体上在数仓中都是迭代的计算，这种计算就会分层次来进行。这种迭代，通用可以分为3个层级：ODSDWADSODS层Original data service原始数据层记录的是输入数据仓库数据的原始的样子或者经过少量的修改的样子基本上是和来源的地方一致作用：一种数据备份，数据溯源(迭代计算的起点)DW层Data Warehouse数据仓库层在这个层级内就开始进行数据的
为什么要分层在实际的工作中，我们都希望自己的数据能够有顺序地流转，设计者和使用者能够清晰地知道数据的整个声明周期。优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。合理的分层概括就是：清晰的数据结构与依赖，提高开发效率，合理的数据权限。具体具有以下优点：数据结构与依赖关系：如果没有清晰的分层,可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系,
一、为什么需要建模性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据I/O的吞吐。成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果 复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性。二、关系数据库和数据仓库基于其数据存储的特点在
文章目录一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层 一、前言现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。这里呢，我们不说Hadoop各种组件之间的配合，我们就简单说下数仓分层的意义价值和该如何设计分层。二、数仓建模说到数仓建模，就得提下经典的2套理论：范式建模 Inmon提出的集线器的自上而下（EDW-DM
