author：skatetime：2010-03-11 数据仓库的选择 数据仓库的选择单从技术方面要从服务器硬件，数据库软件，ETL和前端展示软件，存储系统，仓库的架构设计几方面综合考虑。根据数据库的操作类型不同，数据库一般分为OLAP和OLTP，他们分别的操作特点如下： OLAP： 典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的I/O处理能力
转载
2023-07-31 17:51:46
4阅读
Infobright的优点：（1）高压缩比率（2）快速响应复杂的分析查询语句（3）随着数据库的逐渐增大，查询和装载性能基本保持稳定（4）没有特殊的数据仓库模型（比如星状模型、雪花模型）要求（5）无需要物化视图、复杂的数据分区策略、索引（6）实施和管理简单，需要极少的管理（7）和众多的BI套件相容，比如Pentaho、Cognos、Jaspersoft。Infobright有两个版本ICE和IEE，
转载
精选
2015-03-26 11:16:30
833阅读
数据仓库数据仓库的概念数据仓库的主要特征数据仓库的分层数据仓库的分层介绍原始数据层：ODS（Operational Data Store）数据仓库层：DW（Data Warehouse）数据明细层：DWD（Data Warehouse Details）数据中间层：DWM（Data Warehouse Middle）数据汇总层：DWS（Data Warehouse Service）数据应用层：AD
转载
2023-11-15 20:09:18
95阅读
事实上，很多人在看到数据仓库的第一眼，就把数据仓库当成了数据库。当然这也很正常，毕竟从名字来看这两者确实区别不大，真正区分两者的是定位、作用等更深一层的东西。今天我们就来详细了解一下数据仓库，从概念、特点、优点等方面介绍一下。数据仓库的概念数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合，用于支持管理决策过程。其本质就是完成从面向业务过程数据的组织管理到面向业务分析数据的组
转载
2023-08-07 16:32:38
39阅读
1 数据仓库的含义数据仓库（DW:Data warehouse）是一个面向主题的、集成的、稳定的、反映历史变化的数据集合。 数据仓库以数据分析和决策支持为目的来组织、存储数据。---------------------------------------------------------------------比
转载
2023-07-03 17:19:40
97阅读
1． 主题性数据仓库是一般从用户实际需求出发，将不同平台的数据源按设定主题进行划分整合，与传统的面向事务的操作型数据库不同，具有较高的抽象性。面向主题的数据组织方式，就是在较高层次对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。2．集成性数据仓库中存储的数据大部分来源于传统的数据库，但并不是将原有数据简单的直接导入，而是需要
转载
2023-07-27 21:44:08
86阅读
1. 压测前的准备工作1).为什么要做性能测试？性能验证：验证某系统在一定条件具有什么样的能力。性能规划：如何使系统达到我们要求的性能能力。应用程序诊断：比如资源分配不合理，内存溢出和内存泄漏等问题，通过功能测试很难发现，但通过性能测试却很容易发现。性能调优：满足用户需求，进一步进行系统分析找出瓶颈，优化瓶颈，提高系统整体性能。2).明确的性能需求和测试方案在进
转载
2024-01-28 07:56:37
46阅读
在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少锋和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。下文是分享现场的回顾。我的分享主题是《基于 Hudi 和 Kylin 构建准实时、高性能数据仓库》，除了讲义介绍，还安排了 Demo 实操环节。下面是今天
转载
2021-12-22 10:29:40
369阅读
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1097阅读
# 数据仓库性能指标实现流程
## 1. 确定性能指标
首先，我们需要明确要实现的数据仓库性能指标。性能指标可以包括数据加载速度、查询响应时间、数据可用性等等。根据具体的需求和业务场景，确定需要关注的性能指标。
## 2. 设计数据模型
在设计数据模型时，需要考虑性能指标的需求。合理的数据模型设计可以提高数据仓库的性能。在设计数据模型时，应该考虑到维度表和事实表的结构，以及索引和分区等技术
原创
2023-09-24 14:05:34
139阅读
一、OLTP和OLAP的区别OLAPOLTP全称On-line Analytical ProcessingOn-line Transaction Processing应用场景数据仓库数据库核心维度、度量、下钻、上卷、切片、切块、旋转ACID(原子性、一致性、孤立性、持续性)关注点事后的分析，从统计的角度去看待业务发生的节点关注完成这件事情，准确无误的执行二、传统数仓和互联网数仓的区别传统数仓互联网
转载
2023-11-13 15:04:56
101阅读
目录一：DIM层设计要点 二：DIM层大概实操流程 2.1 读取数据 2.2 过滤数据 2.3 写出数据 三：配置表3.1 配置表设计 四：实操流程4.1 接收Kafka数据，过滤空值数据4.2 动态拆分维度表功能4.3 把流中的数据保存到对
转载
2023-09-06 12:28:21
166阅读
一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，
转载
2023-07-08 18:07:29
440阅读
目录一、数据仓库概念二、数据仓库建模方法1.ER模型2.维度模型2.1事实表事实类型2.2维度表三、数据仓库设计一、数据仓库概念 数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的
转载
2023-11-03 00:28:09
25阅读
本文档中所出现的命令，所有在真实环境中使用。sql环境：S4 hana 1809 SP3, HANA2.0 SP 044 , SUSE Linux Enterprise for SAP Applications 12 SP4s2020.2.24 中午我演练了一把生产环境的异机恢复：数据库一、恢复机的HANA数据库作了一次全备。安全二、停下恢复机，
转载
2023-07-12 09:42:35
128阅读
数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。——数据仓库之父--Bill Inmon 数据仓库基本特
转载
2023-11-20 22:47:31
87阅读
数仓学习1、什么是数仓数仓，全称为数据仓库，英文名称为Data Warehouse（简称DW），本质上就是一个存储了各种数据的数据库。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了ETL、调度、建模在内的完整的理论体系。在物理体现上，它包含数据库、ETL工具两大主要部分。 数仓可以根据底层技术简单区分为传统数据仓库（使用MySQL/oracle/Microsoft SQLser
转载
2023-07-04 09:57:35
328阅读
数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数
转载
2024-01-24 22:16:26
124阅读
1．为什么会出现数据仓库和数据集市？ “数据仓库”的概念可以追溯到80 年代中期。从本质上讲，最初数据仓库是想为操作型系统到决策支持环境的数据流提供一种体系结构模型，并尝试解决和这些数据流相关的各种问题。 在缺乏“数据仓库”体系结构的情况下，早期的决策支持环境如图1 所示。企业内部存在许多冗余的、重复建设的决策支持系统（通常是报表系统），这些系统
转载
2023-12-23 21:08:59
94阅读
1、数据库(Database) 数据库是指将数据以一定的数据模型组织、描述和储存在一起的数据集合，具有尽可能小的冗余度、较高的数据独立性和易扩展性，且在一定范围内为多个用户共享2、数据仓库(DataWarehouse) 数据仓库用于实现集成、稳定、反应历史变化、有组织有结构的数据集合，具有以下4个特点： (1)面向主题 将企业各业务系统的数据进行综合归并，针对公司不同业务领域建立对应的主题。 比如
转载
2023-10-15 19:59:12
116阅读
