最近由于比较多的与新的第三方系统进行各种数据的交互，免不了要把实时的用户表格以及代码表格同步过去，这个时候我们就想说使用比较低成本和简单的方式把我们需要的数据正确的同步到一个中间库中去，然后再由第三方系统通过同样的方式从中间库中取得相关的数据。于是我们就使用上了ETL。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（t
转载
2023-09-20 15:39:50
70阅读
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
992阅读
第一章 数据仓库Data Warehouse1.1 数据仓库概念1. 数据仓库（Data Warehouse）:是为企业所有决策制定过程，提供所有系统数据支持的战略集合。为企业决策提供数据支撑
2. 通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。
3. 数据仓库不是数据的最终目的地，而是为数据最终目的地做好准备：对数据进行 清晰->转义 ->分类
转载
2023-08-26 11:20:43
11阅读
前面的文章中讲到了OLTP、OLAP的概念，简单回顾下一个是代表像业务系统，主要处理业务流程的。一个是代表BI的分析型系统，主要是处理分析的，典型的代表就是数据仓库。OLTP就是Online Transaction Processing System，在线事务处理系统;OLAP则是Online Analytical Processing System，在线分析处理系统。但是严格意义上来讲，OLAP
转载
2023-09-05 16:25:47
119阅读
第一部分 数据仓库理论第1节 数据仓库1.1 什么是数据仓库1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。数据仓库的基本原理、技术架构以及分析系统的主要原则都 已确定，数据仓库初具雏形。1991年Bill Inmon（比尔·恩门）出版了他的第一本关于数据仓库的书《Building theData Warehouse》，标志着数据
数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。
从功能结构划分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。
一、数据仓库组成：
数据
转载
2023-09-25 20:47:53
173阅读
目录DIM层设计要点：8.1 商品维度表1）建表语句2）数据装载8.2 优惠券维度表1）建表语句2）数据装载8.3 活动维度表2）数据装载8.4 地区维度表1）建表语句2）数据装载8.5 日期维度表1）建表语句2）数据装载8.6 用户维度表（拉链表）1）建表语句2）分区规划3）数据装载8.7 数据装载脚本8.7.1 首日装载脚本8.7.2 每日装载脚本DIM层设计要点：（1）DIM层的设计依据是维
转载
2023-08-26 15:54:24
99阅读
1. 数据仓库概念数据仓库，Data Warehouse，简写为DW或DWH。定义：面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。面向主题：在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域集成的：企业级数据，同时数据要保持一致性、完整性、有效性、精确性稳定的：从某个时间段来看是保持不变的，没有更新操作、删除
转载
2023-09-05 17:29:27
122阅读
大数据时代，大数据存储的解决方案，往往涉及到数据仓库的选型策略。从传统时期的数据仓库，到大数据环境下的数据仓库，其核心的技术架构是在随着最新技术趋势而变化的。今天的大数据入门分享，我们就来讲讲，大数据环境下的数据仓库。数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两
一、数仓分层1.1 数仓分层ODS(Operation Data Store)：原始数据层，关系建模，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理DWD(Data Warehouse Detail)：明细数据层，维度建模，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等DWS(Data Warehouse Service)：服务数据层，以DWD为基础，
数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数
随着大数据的到来，经常听到相关的词汇，维度、指标、BI、PV、UV等等，今天整理了这些词汇。1. DW DW是Data Warehouse的缩写，即数据仓库。DW要区别于普通数据库，数据仓库用于支持决策，面向分析型数据处理；而普通数据库主要服务于软件/网站，对于一致性/事物要求较高。 数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和
数据仓库数据仓库的概念数据仓库的主要特征数据仓库的分层数据仓库的分层介绍原始数据层：ODS（Operational Data Store）数据仓库层：DW（Data Warehouse）数据明细层：DWD（Data Warehouse Details）数据中间层：DWM（Data Warehouse Middle）数据汇总层：DWS（Data Warehouse Service）数据应用层：AD
1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。ODS层：原始数据层，主要是将源系统数据抽取到数仓环境，不作任何处理，同时要存历史数据CDM层：公共模型层，CDM层是数据仓库的核心，也是数据仓库设计是否合
原创
2020-08-13 17:33:00
0阅读
建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。开发数据仓库的过程包括以下几个步骤：1.系统分析，确定主题建立数据仓库的第一个步骤就是通过与业务
转载
2023-08-10 13:17:12
120阅读
在数据仓库建设中，概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。conceptual data model概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性
转载
2023-06-30 22:31:32
216阅读
数据仓库搭建之DIM层搭建在开发数据仓库的DIM层时，我们需要注意以下几点：1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。2）在我们该项目当中，DIM层的数据存储格式为orc列式存储+snappy压缩。3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。1.维度确定我们根据之前构建的业务总线矩阵，来确定我们当前需要构建的维度表。 我们可以看到，我们
转载
2023-07-18 13:44:14
233阅读
目录数据分层通用的数据分层设计一、数据运营层：ODS（Operational Data Store）二、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）三、数据应用层：APP（Applica
简介数据湖这个概念和数据仓库这两个概念一直搞不清楚，之前感觉区别就是数据湖是数据仓库的父集。数据湖是个伪命题，平时生活中也用不到，然后今天听了我的一个师哥的讲解，然后简单总结下。常见的问题1 数据湖和数据仓库的区别？相似点：都可以处理海量数据，都是为了得到有价值的数据。 不同点：架构上，数仓基本要求符合DDL定义的结构，数据湖则 湖纳百川。 数据上，数仓为结构化数据设计，数据湖，湖纳百川。 模块上
文章目录数据仓库的概念数据库和数据仓库的区别数据仓库分层 数据仓库的概念数据仓库 （data warehouse ）简称DW、DWH，是一个很大的数据存储集合，出于企业的分析性报告和决策支持的目的而创建。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量和控制。 数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。数据库和数据仓
转载
2023-09-04 22:03:39
92阅读
