声明：1. 本栏是个人总结，如有错漏，请指正2. 数据仓库的构建目前业界只有指导方案，并没有统一的标准，每个公司都可以按照实际情况进行设计3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景你以为我又要从OLTP\OLAP进化史开始巴拉巴拉？不了，浪费时间。数据仓库，其实也就是一群SQL Boy，提数员为了应付业务方各种需求，提前建立的一个集中型的数据集市，减少数据重复开
转载
2023-07-31 23:05:56
493阅读
数据仓库数据仓库：各种数据的中央存储系统，提供数据的存储，管理和分析功能。功能：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），用于做数据分析。通俗讲： 为数据挖掘，多维分析，决策支持，报表系统提供易用数据。数据仓库 比较流行语言的有：AWS Redshift, Greenplum, Hive等主要模块1数据采集平台（数据仓库数据来源）使用语言技
转载
2023-08-07 16:29:49
115阅读
ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题 的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥用 缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统，如果其中存在着大量的
转载
2023-10-20 17:21:16
36阅读
一 数据库 是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现，数据库由许多表组成，表是二维的，一张表里面可以有很多字段，数据库的表，在与能够用二维表现多维关系。二 数据仓库 是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现的存放数据的地方，只不过从数据量来说，数据仓库要比数据库
# OLAP数据仓库对比
## 1. 什么是OLAP数据仓库？
OLAP（Online Analytical Processing）数据仓库是一种用于分析和查询大规模数据的技术。它将数据从不同的来源整合到一个集中的存储库中，以便用户可以方便地进行多维度的分析和查询。OLAP数据仓库可以存储和处理海量的数据，并提供高效的数据查询和分析能力。
OLAP数据仓库通常采用星型或雪花型的模型来存储数据
一、什么是OLAP？在以前20世纪60年代末，关系型数据库与OLTP得到了快速发展，随着时间的延续，全球数据暴增，越来越多的数据被生产，同时人们对信息的需求也更加发杂，希望尽可能从GB,TB甚至PB数据直观的连接隐藏在这些数据背后的信息，传统的OLTP显得力不从心了，于是数据仓库跟OLAP技术营运而生。 定义：针对某个特定的主题进行联机数据访问，处理和分析，通过直观的方式从多个维度多种数据综合起
文章目录一、数据仓库1、概述(1)、特点(2)、组成2、OLAP技术(1)、OLAP与OLTP的比较(2)、OLAP相关概念(3)、OLAP分类二、数据挖掘1、分析方法2、数据挖掘与数据仓库的关系 一、数据仓库数据仓库通常指一个数据库环境，而不是指一件产品。它提供用户用于决策支持的当前和历史数据，这些数据在传统的数据库中通常不方便得到。1、概述(1)、特点面向主题 主题是一个抽象的概念，指用户使
转载
2023-08-10 10:36:08
84阅读
数据仓库ETL流程规范项目组希望我出一个ETL的规范，凭着自己的感觉和经验总结了一些步骤，我还会不断改进。本ETL流程规范试图建立一个通用的ETL流程开发规范，针对不同项目组的实际情况，可自行进行逐步的完善和修改。本流程应该是在需求分析阶段结束后实施。ETL流程：可以把ETL分为五个阶段，按照开发的顺序分： 1) &nbs
date: 2020-12-13 11:49:06
updated: 2020-12-16 17:16:14数仓架构1. 数据仓库特点：面向主题
电商，流量，交易。。。集成
各个数据源：数据库，日志，爬虫。。。相对稳定
主要用来查询，不是用来删除和修改反映历史变化
N年的记录，每个月、每个季度、每年的汇总记录管理决策
分析数据 -> 指标数据湖指的是所有的原始数据，数据仓库指经过处理的原始数
转载
2023-10-24 12:39:21
67阅读
从本篇文章开始，笔者打算写一个系列的《clickhouse专栏》，其全称是Click Stream,Data WareHouse，简称ClickHouse。从其全称中的“Data WareHouse”，我们可以看出clickhouse的定位是数据仓库。那么“数据仓库”和“数据库”有什么区别呢？理解这点这很重要，理解了二者的区别，你就可以正确的将clickhouse用到其合适的应用场景。一、OLTP
一、BI 商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为： ...
转载
2021-10-09 09:37:00
270阅读
2评论
1.1、OLAP 简介OLAP 是在线分析处理，顾名思义就是OLAP是用于数据分析的；因此，它使我们能够同时分析来自多个数据库系统的信息。换句话说，我们可以说它是一种计算方法，可以让用户轻松提取所需的数据并查询数据，以便从不同的角度进行分析。它基本上是基于庞大的数据，称为数据仓库； 它从数据仓库中收集所需的数据并执行业务所需的分析，以在业务中做出一些决策，以提高利润、改善销售、改善品牌、改善营销等
数据仓库的概念提出于20世纪80年代中期，20世纪90年代，数据仓库已从早起的探索阶段走向实用阶段。业界公认的数据仓库概念创始人W.H.Inmon在《BuildingtheDataWarehouse》一书中对数据仓库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合”。
&nbs
转载
2023-08-08 13:58:53
67阅读
文章向导数据仓库1.什么是数据仓库？（1）面向主题的（2）集成的（3）相对稳定的（4）反映历史变化2.数据仓库架构（1）DB (Database 缩写)(2) ETL (抽取（extract）、转换（transform）、加载（load）)(3) ODS （Operation Data Store 操作数据层）(4) DW （Data Warehouse 数据仓库）(5) DM（Data Mart 数据市集）OLAPApache Kylincube数据仓库1.什么是数据仓库？官方解释数据仓库，英文
原创
2021-11-19 11:27:15
331阅读
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等 OLAP（On-Line Analytical Processing）：在线分析处理，主要用于支持企业决策管理分析。OLAP分类 OLAP按存储器的数据存储格式分为： 1、RO
转载
2023-07-20 23:26:06
46阅读
1、数据仓库ETL 2、数据仓库分层 ODS：原始数据层 数据来源可能是通过Flume监控、Sqoop导入....... Flume可以定义拦截器，进行数据ETL。 Sqoop可以通过sql语句，进行数据ETL。 所以很多情况下ods存放的ETL之后的原始数据。 作用：在业务系统和数据仓库之间形成一个隔离层，保存的是原始数据或者ETL之后的
转载
2023-10-10 06:15:04
132阅读
面向业务的数据库常叫 OLTP(on-line transaction processing)面向 分析的数据仓库常叫OLAP(On-Line Analytical Processing)，区别见 ： 一个交易流程包括多个事务，比如定单 ，支付 等，比如购物篮的分析 ，比如做了一次活动后的
转载
2023-07-27 22:34:07
0阅读
本文简要总结以下两个问题，旨在快速理解“数据仓库”1、什么是“数据仓库”？2、“数据仓库”与“数据库”的区别？下面做详细阐述： 1、什么是“数据仓库”？“一个数据仓库通常是一个面向主题的、集成的、与时间相关且不可修改的（可以添加）数据集合，它用于对管理决策过程的支持。”此句话包含几个关键点：面向主题的、集成的、与时间相关的、不可修改的，具体含义欢迎留言交流。 2、数据仓库与数据库的主要区别&n
概念数据库业务应用操作性处理联机事务处理（OLTP）面向交易存放的是实时数据（在线数据）数据库设计遵循三大范式，尽量避免冗余数据仓库面向数据分析依照分析需求、分析维度、分析指标进行设计存放的数据都是历史数据联机分析处理（OLAP）Hive数据仓库概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张数据库表，并提供类SQL查询功能。Hive其实就是一个SQL解析引擎，它
转载
2023-08-16 23:57:01
102阅读
数据行业的名词越来越多，其中，数据湖、数据仓库和数据中台是比较热门的词汇，他们都与数据有关，他们之间又有什么区别呢？数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。数据仓库也称为企业数据仓库，
