一、数据仓库和数据库的区别 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的
转载
2023-09-28 12:09:50
33阅读
之前小编就有写过几篇数据仓库的文章，但是还会有些小伙伴还不能够清晰明白数据仓库的作用，那么这篇文章就重点介绍数据仓库的两大作用，还不赶紧收藏起来？ 首先，我们还是要温习一下，数据仓库的概念是什么？ 数据仓库是为企业各级决策过程，提供各类数据支持的战略集合。它是为分析报告和决策支持而创建的单一数据存储。 为需要指导业务流程改进、监控时间、成本、质量和控制。
转载
2023-05-23 14:02:53
129阅读
数据仓库计算引擎是一个强大的工具，旨在帮助企业进行高效的数据处理和分析。本文将详细记录我在解决“数据仓库计算引擎”问题的整个过程，带你了解各个步骤，从环境准备到性能优化，让你在使用这一工具时更加得心应手。
## 环境准备
在开始搭建数据仓库计算引擎之前，确保环境配置符合要求是相当重要的。以下是我选择的技术栈及其兼容性。
### 技术栈兼容性
| 组件 | 版本
一、什么是数据库引擎？数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务，从而满足企业内大多数需要处理大量数据的应用程序的要求。 使用数据库引擎创建用于联机事务处理或联机分析处理数据的关系数据库。这包括创建用于存储数据的表和用于查看、管理和保护数据安全的数据库对象（如索引、视图和存储过程）。二、数据库引擎类型1 InnoDB引擎 &
7.1 HIVE概念HIVE是建立在HADOOP上的数据仓库基础架构。HIVE 存储依赖HDFS,计算依赖mapreduce.SQL ON HADOOP,mapreduce 是hive的默认执行引擎。7.2 HIVE 架构和原理HIVE 架构1、用户接口，包括 CLI、JDBC/ODBC、WebGUI CLI，即Shell命令行，表示我们可以通过shell命令行操作Hive JDBC/ODBC 是
转载
2023-09-04 17:10:04
84阅读
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice mysql支持多种存储引擎存储。这样，在处理不同类型数据的时候，可以针对不同业务场景，提供更为高效，灵活的方式。mysql常见的存储引擎包括：MyISAM,InnoDB（最为常用的两种),MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、F
转载
2023-07-15 00:02:01
102阅读
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1097阅读
一、OLTP和OLAP的区别OLAPOLTP全称On-line Analytical ProcessingOn-line Transaction Processing应用场景数据仓库数据库核心维度、度量、下钻、上卷、切片、切块、旋转ACID(原子性、一致性、孤立性、持续性)关注点事后的分析，从统计的角度去看待业务发生的节点关注完成这件事情，准确无误的执行二、传统数仓和互联网数仓的区别传统数仓互联网
转载
2023-11-13 15:04:56
101阅读
目录一：DIM层设计要点 二：DIM层大概实操流程 2.1 读取数据 2.2 过滤数据 2.3 写出数据 三：配置表3.1 配置表设计 四：实操流程4.1 接收Kafka数据，过滤空值数据4.2 动态拆分维度表功能4.3 把流中的数据保存到对
转载
2023-09-06 12:28:21
166阅读
一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，
转载
2023-07-08 18:07:29
440阅读
目录一、数据仓库概念二、数据仓库建模方法1.ER模型2.维度模型2.1事实表事实类型2.2维度表三、数据仓库设计一、数据仓库概念 数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的
转载
2023-11-03 00:28:09
25阅读
本文档中所出现的命令，所有在真实环境中使用。sql环境：S4 hana 1809 SP3, HANA2.0 SP 044 , SUSE Linux Enterprise for SAP Applications 12 SP4s2020.2.24 中午我演练了一把生产环境的异机恢复：数据库一、恢复机的HANA数据库作了一次全备。安全二、停下恢复机，
转载
2023-07-12 09:42:35
128阅读
数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。——数据仓库之父--Bill Inmon 数据仓库基本特
转载
2023-11-20 22:47:31
87阅读
数仓学习1、什么是数仓数仓，全称为数据仓库，英文名称为Data Warehouse（简称DW），本质上就是一个存储了各种数据的数据库。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了ETL、调度、建模在内的完整的理论体系。在物理体现上，它包含数据库、ETL工具两大主要部分。 数仓可以根据底层技术简单区分为传统数据仓库（使用MySQL/oracle/Microsoft SQLser
转载
2023-07-04 09:57:35
328阅读
数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数
转载
2024-01-24 22:16:26
124阅读
1．为什么会出现数据仓库和数据集市？ “数据仓库”的概念可以追溯到80 年代中期。从本质上讲，最初数据仓库是想为操作型系统到决策支持环境的数据流提供一种体系结构模型，并尝试解决和这些数据流相关的各种问题。 在缺乏“数据仓库”体系结构的情况下，早期的决策支持环境如图1 所示。企业内部存在许多冗余的、重复建设的决策支持系统（通常是报表系统），这些系统
转载
2023-12-23 21:08:59
94阅读
1、数据库(Database) 数据库是指将数据以一定的数据模型组织、描述和储存在一起的数据集合，具有尽可能小的冗余度、较高的数据独立性和易扩展性，且在一定范围内为多个用户共享2、数据仓库(DataWarehouse) 数据仓库用于实现集成、稳定、反应历史变化、有组织有结构的数据集合，具有以下4个特点： (1)面向主题 将企业各业务系统的数据进行综合归并，针对公司不同业务领域建立对应的主题。 比如
转载
2023-10-15 19:59:12
116阅读
为把Bill Inmon和Kimball 两种不同的思路统一起来，Bill Inmon提出了CIF（Corporation Information Factory）架构，核心是把数据仓库分为不同的层次以满足不同场景的需求；每层根据不同的场景采用不同的方案。传统数据仓库1.0的分层：数据源->数据集成平台->数据交换平台->数据集市（数据应用
转载
2023-08-20 10:20:12
353阅读
域分析就构成一个维度。再比如"昨天下
转载
2023-10-18 08:39:11
117阅读
1.概述 Kimball和Inmon是两种主流的数据仓库方法论，分别由 Ralph Kimbal大神 和 Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式。本文将详细介绍 Kimball 和 Inmon 理论在实际数据仓库建设中的应用与对比,通过数据仓库理论武装数据仓库实践。
2.什么是Kimball2.1 概念K
转载
2023-12-08 14:59:58
9阅读
