第一章习题1.数据仓库就是一个 面向主题的、集成的、相对稳定的、反映历史变化的数据集合。2.元数据是描述数据仓库内数据的结构和建立方法的数据.它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为 技术元数据 和 业务元数据两类。3.数据处理通常分成两大类：联机事务处理和联机分析处理OLAP。4.多维分析是指对以“维”形式组织起来的数据（多维
转载
2024-02-10 16:14:00
53阅读
数据仓库的历史数据仓库简介数据仓库的历史决策支持系统数据仓库系统数据仓库简介信息已经成为任何组织的主要资产。 企业各级用户，包括运营管理者、中层管理者和高层管理，都希望获得能够做出合理决策并为业务增值的信息。每个层级者对所希望获取的信息有着不同的要求，但共同的要求包括信息的准确、完整和一致等。 一个理性的经营者将使用可用且可信的信息作为可能影响业务基线的智能决策的根基。当我们使用数据或信息这两个术
# 数据仓库简介
数据仓库（Data Warehouse）是指用于存储和管理企业中各种数据的集中式数据库系统。它可以帮助企业从不同的数据源中提取、转换和加载数据，以便进行分析和决策支持。
## 为什么需要数据仓库？
在企业运营过程中，数据通常存储在不同的系统和数据库中，格式和结构各不相同。这使得数据的整合和分析变得非常困难。而数据仓库的出现解决了这个问题。
数据仓库可以将来自不同数据源的数
原创
2023-07-16 15:43:49
71阅读
数据仓库概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。用于数据存储，数据分析和数据决策的系统。 【重点是分析数据，为了企业提供决策支持 Decision Support】为什么出现像一些OLTP (On-Line Transaction Processing)联机事务处理系统 ：MySQL 、Oracle……是否可以进行查询分析吗？可以但是没必要，因为读的压力比写的压力大OLTP 存储的时间短，只有月、周字段不统一所以，衍生出OLAP 联机分析处理 Onl
原创
2021-08-19 13:30:30
319阅读
数据仓库概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。用于数据存储，数据分析和数据决策的系统。 【重点是分析数据，为了企业提供决策支持 Decision Support】为什么出现像一些OLTP (On-Line Transaction Processing)联机事务处理系统 ：MySQL 、Oracle……是否可以进行查询分析吗？可以但是没必要，因为读的压力比写的压力大OLTP 存储的时间短，只有月、周字段不统一所以，衍生出OLAP 联机分析处理 Onl
原创
2022-02-13 09:39:13
145阅读
一、数据仓库概述1.1 数据仓库定义数据仓库：Data Warehouse，是为企业所决策制定过程，提供所有支持类型的数据集合。用于分析性报告和决策支持。数仓是一个面向主题、集成的、相对稳定、反应历史变化的数据集合，随着大数据技术的发展，其作用不再局限于决策分析、还可以为业务应用、审计、追踪溯源等多方面提供数据支撑，帮助企业完成数字化转型。1.2 数据仓库特点面向主题普通的操作型数据库主要面向事务
转载
2023-12-19 23:18:45
77阅读
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步根据自己的理解与实际项目经验，说说ODS与EDW的异同。如果有不对的地方，欢迎大家批评指正。维基百科对于ODS的定义为"An operational data store (or “ODS”) is a database designed
转载
2024-01-11 20:30:10
99阅读
初学耗时：0.5h一、模块开发：数据仓库设计 - 维度建模基本概念 1.1 事实表。 1.2 维度表。 记忆词： 事实表、维度表
Z05 - 999、网站流量日志分析 ギ 舒适区ゾ || ♂ 累觉无爱 ♀
一、模块开发：数据仓库设计 - 维度建模基本概念维度模型是数据仓库领域大师 Ralph Kimall 所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行
集成策略
数据集成是指将来源于不同系统的数据组合在一起，供业务用户研究不同的行业行为及客户行为的数据处理方式。在数据集成应用早期，数据仅限于交易系统及其应用。业务决策的制定以决策平台为指导，而有限的数据集提供了创建决策平台的基础。数据容量与数据类型在过去三十年里大幅增长，数据仓库技术从无到有，基础架构和技术的发展满足了分析和数据存储需求。这一切彻底改变了数据集成的前景。传统数据集成技术主要关注于
转载
2023-08-14 12:14:32
66阅读
数仓分层 数仓分层的作用①清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解，实现业务数据解耦。 ②减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算 ③统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径 ④复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题 范式理论范式概念
转载
2023-11-17 23:16:59
121阅读
C++库：1，PDF类库 PoDoFo http://podofo.sourceforge.net/ PoDoFo 是一个用来操作 PDF 文件格式的 C++ 类库。它还包含一些小工具用来解析、修改和创建 PDF 文2，Xpdf http://www.foolabs/xpdf/download.html &nb
转载
2023-07-22 16:53:18
11阅读
声明：以下内容是学习 《The Architecture for the Next Generation of Data Warehousing》 的笔记。为了解决数据仓库架构的选择问题并清除所有的干扰。DW2.0 是为了下一代数据仓库定义的数据仓库构架。 2.1 DW2.0 -- 一种新的范式这种新的范式关注数据的不同类型、基本结构、以及它们怎样关联起来形成一个强大的数据存
本文是《大数据分析-数据仓库项目实战》阅读笔记。 内容全部摘抄于本书。 算入门教材、文中有大量软件的安装步骤、对技术细节未过多涉及。前言描述大数据时代，需要考虑数据的采集、存储、计算处理等方式。数据仓库建模方式：确定业务过程、声明粒度、确定维度、确定事实采集：Flume、kafka、Sqoop 存储：MySQL、Hadoop、HBase 计算：Hive、Tez 查询：Presto、Druid、Ky
转载
2024-01-12 13:37:41
62阅读
PB级企业电商离线数仓项目实战【上】- 笔记第一部分 数据仓库理论数据仓库四大特征面向主题的: 抽象的，逻辑的 集成的：为分析服务 稳定的： 很少更新，只需定期加载 反映历史变化的: 按照时间顺序追加与数据库区别OLTP（On-Line Transaction Processing 联机事务处理），也称面向交易的处理系统。主要针对具体业务在数据库系统的日常操作，通常对少数记录进行查询、修改。用户较
转载
2023-12-26 10:35:30
69阅读
之前在其他平台上看到有其他作者介绍CloudQuery，这不巧了么，我刚好也在用。但是看有些作者真的没讲清楚这款产品它的真实作用和特性，所以今天就来讲讲这个CloudQuery到底是干啥的。不知道大家有没有用过阿里云DMS，它是阿里数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境容易的web数据库管理终端，好用，但是要钱，企业版一年算下来也要将近5000块，而Clou
转载
2024-03-13 19:27:49
44阅读
第1章 维度建模初步1. 操作型系统与数据仓库任何机构的信息以操作型系统的记录和数据仓库两种形式存在操作型系统：存入数据的地方，按一次一条记录的方式存入格式化数据并不断重复；数据仓库：索取数据的地方，从事对新订单计数等需要搜索大量的记录并压缩成几个答案的操作；2. 数据仓库的目标使组织结构的信息变得容易获取：让业务人员能对仓库中的数据进行切割处理的分离与合并操作；一致地展示组织机构的信息：关于数据
转载
2023-08-07 11:07:18
24阅读
牛逼！
转载
2021-06-24 10:29:28
330阅读
昨天硬着头皮写了篇数据流的说明，本来今天想写规划与设计主线的说明。但是！早上坐地铁的时候看了B站讲的大数据数仓工具数据抽取的部分，想了想应该详细介绍一下ODS层的抽取工具，主流工具有很多，本篇选用DataX 3.0进行讲解，一下简称DataX。什么是DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HD
转载
2023-10-04 07:31:28
178阅读
数据仓库近来成了很多IT人的话题。在ERP、CRM之后忽然间出来个一个BI,说到BI不能不提DW（数据仓库）。现在书店里数据仓库的书籍并不是很多,有的还比较陈旧,笔者在这里把自己对一些数据仓库图书的印象罗列出来,供读者参考。主观印象比较重,有不恰当的地方请多指教。 当然有一点要说明的是,对于数据仓库这种偏重实施性的项目,仅有图书是没有用的,更多的时候还要靠项目经验.数据仓库(第3版) -
0x00 前言上文我们把数据仓库类比我们人类自身，数据仓库“吃”进去的是原材料（原始数据），经过 ETL 集成进入数据仓库，然后从 ODS 开始逐层流转最终供给到数据应用，整个数据流动过程中，在一些关键节点数据会被存储存储下来落入数仓模型。在数仓这个自运转的大生态系统中 ETL 扮演了原材料加工转化和能量传输两个重要角色，有了 ETL 的加持这个生态系统才开始活起来了。在数据仓库领域，ETL 的重
转载
2023-11-28 07:14:04
47阅读
