设计和实现OLAP解决方案
第一讲 简介首先，啥叫数据仓库？数据仓库就是数据的仓库！用外文说叫Data Warehouse，简称DW。是不是哐当倒下一片啊，要不咱换个专业点的说法？数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的、包含商业信息的数据集合，用于支持管理决策。看得懂不？谅你也不懂。算了，别叫这真了。等你明白了舍生取义，你自然会明白什
OLAP：联机分析处理 OLAP：Online Analytical Processing联机分析处理（OLAP）指的是对存储在数据库或数据仓库中的数据提供分析的一种软件。OLAP 工具能快速提供复杂数据库查询的答案，并帮助用户分析多维数据中的各维情况。通常 OLAP 应用于数据仓库中的数据处理过程，即所谓的“数据挖掘”（Data Mining）。关系数据库中，是将经过规范化的实体存放在分散的表格
1：OLAP和OLTP对比数据库系统可以在广义上分为联机事务处理（Online Transaction Process，OLTP）和联机分析处理（Online Analyze Process，OLAP）两种面向不同领域的数据库，OLAP数据库也被称为数据仓库。从产品上看，有专门面向OLTP的数据库，例如MySQL、PostgreSQL、Oracle等，也有专门面向OLAP的数据库，例如Hive、G
转载
2023-08-17 22:48:58
0阅读
什么是OLAP(联机分析处理)这个是和数据处理非常相关的一个概念。接触过BI(商务智能的同学一定清楚。数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing); OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。通俗的讲，就是
又多一款数仓选型，虽然ClickHouse从性能上比不上前面的StarRocks，但还是有其使用场景，技多也不压身。本篇了解ClickHouse特性和性能，并完成一个单机和三台集群环境部署并验证可用，为后续实站提供前提条件
概述定义ClickHouse官网地址 https://clickhouse.com/ 最新版本22.4.5.9ClickHou
目前还没有一个OLAP系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。
原创
2021-07-05 12:42:35
554阅读
文章目录
1.开源OLAP综述
2.开源数仓解决方案
1.开源OLAP综述
如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求。现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHouse和Apache Doris。应用最广的数据查询系统主要有Druid，Kyli
一、为什么需要GPU数据库CPU CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂; 所以CPU一般由几个针对顺序串行处理而优化的内核组成 GPU GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境. 所以一般GPU具有一个大规模并行架构，由数千个更小，效率更高的内核组成，用
1Oracle数据仓库中的OLAP多维分析技术在传统的数据仓库技术中,数据访问技术经常分为两部分,复杂度较低的、简单的查询应用可直接访问基于关系数据库的数据仓库服务器,而复杂度较高的联机分析处理应用(OLAP)程序则需要通过专门的多维数据库和工具实现。虽然专门的多维数据库提供一整套的分析功能,查询性能更好,但系统的维护十分困难。多维数据库需要从数据仓库复制数据,获取数据的时间延迟相当长,并需要独立
本人开发了一款OLAP多维数据库备份软件，现将其贡献博客园
原创
2021-09-08 16:22:48
305阅读
1.OLTP(传统数据库）数据库：是OLTP（On-Line Transaction Processing）（联机事务处理）应用的场景，其存储的主要是与业务直接相关的数据，强调准确、低时延、高并发，如果没有特别强调，基本上数据库里只会去存储与业务相关的数据。代表产品：Oracle、MySQL OLTP系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作，强调事务性；2.OL
数据库按照应用场景划分可以分为OLTP和OLAP，OLTP是针对交易型的场景比如像银行的存取款、转账类业务，OLAP是针对分析型的场景比如用于企业决策支持的BI、报表类业务。 而在OLAP领域，又可以根据具体技术实现分为MOLAP及ROLAP。MOLAP是基于多维分析的OLAP系统，一般对存储有优化，进行部分预计算，查询性能最高，但查询灵活性有限制。ROLAP是更偏向传统关系型的OLAP系统，RO
环境一个Oracle Cloud Infrastructure（以下简称OCI）公有云账户。目标数据库版本为18c或19c预览版。 登录OCI后的界面。 选择左侧菜单中的自治数据仓库或自治事务处理： 自治数据库的管理员是admin，而不是传统数据库的SYS或SYSTEM。ADW （自治数据仓库）最小配置为1 OCPU，1TB存储。数据库版本不可选择（目前提供19c预览版）。 创建时间可以从以上界面
转载
2023-09-15 09:02:20
91阅读
作为数据仓库实施的核心组件，OL
原创
2022-08-10 08:41:48
125阅读
1.按数据量划分 对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。偏实时的分析型数仓，Cloudera的Impala、Facebook的Presto和Pivotal的GreenPlum均属于这类系统；如果超过百亿级别数据量，那么一般选择离线数仓，如使用Hive或Spark等（SparkSQL3.0看起来性能提升很明显）；对于数据量很小的情况，虽然是分析类应用，也可以直接选
目录前言Oracle 概述表空间操作表中的数据约束查询Oracle 函数 前言Oracle数据库是什么？ Oracle Database，又名Oracle RDBMS，简称Oracle。是甲骨文公司推出的一款关系数据库管理系统。 Oracle和MySQL的区别？Oracle是大型数据库而Mysql是中小型数据库，Oracle市场占有率达40%，Mysql只有20%左右，同时Mysql是开源的而O
随着互联网的快速发展，数据已经成为企业竞争的核心资源之一。如何高效地存储、处理、分析和应用海量数据，成为企业必须面对的重要问题。数据仓库作为企业数据治理的核心基础设施，其建设质量和效率直接影响企业的数据应用效率和业务决策能力。随着业务的发展，数据量不断增长，数据种类也越来越多，原有的数据仓库已经无法满足业务需求。为了提高数据处理效率，同程旅游决定采用Apache Doris（开源的SQL查询引擎）
当下大数据技术发展如火如荼，各种数据库处理技术层出不穷，可是各种数据库的大致分类清楚吗？能够结合项目数据的业务特点进行选型吗？今天先从OLAP型数据库说起，介绍相关的数据库。OLTP和OLAP分不清？我们通常将数据库分为OLTP和OLAP两大类，先了解一下它们的区别：OLTP (online transaction processing 联机事务处理)，典型代表如 mysql，擅长事务处理，能够在
产品概述随着企业IT和互联网系统的发展，越来越多的数据被产生了。数据的量的积累带来了质的飞跃，使得数据系统从业务系统的一部分演变得愈发独立，通过对数据的分析和挖掘产生自己独特的价值。 在业务系统中，我们通常使用的是OLTP（OnLine Transaction Processing ，联机事务处理）系统，如MySQL, MicroSoft SQL Server等关系数据库系统。这些关系数据库系统擅
duckdb是一个嵌入式的olap数据库 支持的特性 快速的分析查询（olap特性） 操作简单，不需要额外的依赖 丰富的特性 mvcc，acid，完备的sql 支持，比较全的语言驱动 说明 duckdb同时也支持方便的数据导入，导出操作（csv） 参考资料 https://duckdb.org/do
原创
2021-07-16 18:04:46
813阅读
