文章目录一、简介二、KeyValue 存储格式LSM树的索引结构compact：优化读操作如何优化major compactminor compact总结 一、简介在大数据场景下，HBase的存储引擎选择的是LSM树（日志结构合并树Log-Structured Merge-Tree），LSM树会将写入操作处理为一次顺序写，HDFS擅长的正是顺序写。LSM树主要目标是快速建立索引LSM树通过磁盘的
转载
2023-09-20 06:40:35
50阅读
# 使用 HBase 实现 OLAP 数据库的完整流程
在大数据时代，HBase 作为一款强大的 NoSQL 数据库，广泛应用于 OLAP（联机分析处理）场景。对于刚入行的小白来说，了解如何将 HBase 作为 OLAP 数据库是个复杂但有趣的过程。本文将详细介绍实现 HBase 数据库的步骤，提供代码示例，并使用可视化图表辅助理解。
## 实现流程概览
以下表格展示了实现 OLAP 数据库
原创
2024-10-17 12:38:21
31阅读
如何实现“hbase 数据olap还是oltp”
## 概述
在开始讨论如何实现“hbase 数据olap还是oltp”之前，首先需要明确OLAP（Online Analytical Processing）和OLTP（Online Transaction Processing）的概念。
- OLTP：是一种面向交易的数据处理方式，用于处理日常业务操作，如插入、更新和删除数据等，重点在于事务处
原创
2024-01-17 11:02:09
192阅读
1.1 准备安装包下载安装包并上传到hadoop01服务器安装包下载地址：https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz将安装包上传到node01服务器/bigdata/softwares路径下，并进行解压[hadoop@hadoop01 ~]$ cd /bigdata/soft/
[hadoop@h
转载
2024-05-16 13:55:46
16阅读
HBase介绍HBase是运行于HDFS顶层的非关系型数据库，它具备随即读写功能，是一种面向列的数据库。我们都知道，Hive能将SQL指令转化为MapReduce任务执行，虽然它基于HDFS存储，但仍可看作分布式的SQL系统。与之相比，HBase采用了Bigtable的数据模型——增强的稀疏排序映射表(key-value)，因此可看作分布式的NoSQL系统。HBase也延续了NoSQL数据库的优点
转载
2023-10-08 18:43:21
104阅读
OLAP：联机分析处理 OLAP：Online Analytical Processing联机分析处理（OLAP）指的是对存储在数据库或数据仓库中的数据提供分析的一种软件。OLAP 工具能快速提供复杂数据库查询的答案，并帮助用户分析多维数据中的各维情况。通常 OLAP 应用于数据仓库中的数据处理过程，即所谓的“数据挖掘”（Data Mining）。关系数据库中，是将经过规范化的实体存放在分散的表格
转载
2023-10-07 11:05:21
111阅读
一、Phoenix简介Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。Phoenix 的理念是 we put sql SQL back in NOSQL，即你可以
转载
2023-07-20 23:29:35
91阅读
认识NoSQLNoSQL：泛指非关系数据库（Not only SQL） NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体NoSQL分类（按照存储格式） 1）键值（Key-Value）存储数据库 2）列存储数据库 3）文档型存储数据库 4）图形数据库目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBaseHBase（Hadoop Databa
转载
2024-04-13 19:50:34
51阅读
Kylin是一个底层使用HBase作为存储引擎和查询引擎的的多维分析平台，并对外提供标准SQL查询功能。在超大规模数据集上，Kylin还能达到亚秒级的查询响应。
转载
2021-07-23 11:49:52
369阅读
NoSQL 数据库 HBase5.1HBase 原理5.1.1 HBase 概述5.1.2 HBase 核心概念5.1.3 HBase 的关键流程5.2 HBase 伪分布式安装5.2.1 安装 HBase 的前提条件5.2.2 解压并配置环境变量5.2.3 配置 HBase 参数5.2.4 验证 HBase5.3 HBase Shell5.3.1 HBase Shell 常用命令5.3.2 H
转载
2023-11-20 11:25:51
86阅读
目前还没有一个OLAP系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。 目前我们能接触到的开源OLAP包括但不限定于：Hive、Hawq、Spark SQL、Presto、Kylin、Impala、D
原创
2023-07-01 05:19:43
367阅读
一、引言Mondrian, 蒙得里安·皮特1872-1944荷兰画家，作品以交错的三原色为基色的垂直线条和平面为特点，他的著作包括 新造型主义(1920年），对抽象艺术的发展曾经产生很深影响。——金山词霸如是说。不过,本文所要讨论的可不是这位艺术家。那到底mondrian是什么呢？Mondrian是一个开源项目。一个用Java写成的OLAP（在线分析性处理）引擎。它用MDX语言实现查询
转载
2023-06-13 10:53:05
100阅读
流/批/OLAP一体的Flink引擎介绍开源生态2.Flink整体架构2.1Flink分层框架 1.SDK层：分为三类：SQL/Table、DataStream、Python； 2.执行引擎层（Runtime层）：Runtime层提供统一的DAG，用来描述数据处理的流水线，不管是刘还是批，都会转换为DAG图，调度层再把DAG转换成分布式环境下的Task,Task之间通过Shuffle传输数据； 3
转载
2024-02-27 16:17:41
108阅读
1.sql 结构化查询语言 字段和类型都是固定的2.什么是hbase？HBase是一个分布式的、面向列的开源数据库，
HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。3.nosql的作用？为了解决大规模数据集合、多重数据种类带来的挑战，尤其是大数据应用难题。4.常见nosql？ 常见sql？NOSql(非关系型数据库)：
转载
2023-09-01 11:53:52
300阅读
1、前言在线分析系统(OLAP)将已有的数据通过运算公式和转换规则聚合出信息，因此OLAP引擎应该至少能够进行：一个或多个维度对数据进行提取、聚合、合计和预计算；一个或多个维度进行逻辑运算、公式等方式的处理；灵活的浏览分析，如一维和多维旋转、交叉表分析、上下钻取等；Elasticsearch(ES)的聚合功能提供了多级分组和统计的能力。聚合类似关系数据库中group by的的功能，在ES中，一次查
OLAP数仓入门-基础篇
链接：OLAP数仓入门问答-基础篇 https://zhuanlan.zhihu.com/p/144926830
OLAP入门问答-进阶篇 https://zhuanlan.zhihu.com/p/147344996
【讲稿】Impala在网易大数据中使用和优化实践 https://zhuanlan.zhihu
转载
2023-07-29 19:16:51
152阅读
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直
原创
2012-01-03 14:23:51
462阅读
一、概念联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维
原创
2016-02-22 20:11:15
2670阅读
# 实现Java OLAP
## 简介
在开始教授小白如何实现"Java OLAP"之前，让我们先了解一下OLAP（联机分析处理）的概念。OLAP是一种用于处理和分析多维数据的技术。它允许我们通过多维度和聚合计算来探索数据，从而更好地理解数据背后的模式和趋势。
在Java中，我们可以使用一些库来实现OLAP功能，如Mondrian和Pentaho。这些库提供了丰富的函数和API来处理多维数据，
原创
2023-08-09 07:15:53
144阅读
一、OLTP、OLAP概念 OLTP On-Line Transaction Processing联机事务处理过程(OLTP)也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。 OLAPOn-line
转载
2019-07-18 09:15:00
216阅读
2评论
