流/批/OLAP一体的Flink引擎介绍开源生态2.Flink整体架构2.1Flink分层框架 1.SDK层：分为三类：SQL/Table、DataStream、Python； 2.执行引擎层（Runtime层）：Runtime层提供统一的DAG，用来描述数据处理的流水线，不管是刘还是批，都会转换为DAG图，调度层再把DAG转换成分布式环境下的Task,Task之间通过Shuffle传输数据； 3
转载
2024-02-27 16:17:41
108阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文作者来自阿里巴巴的贺小令，探讨了Flink在OLAP中的应用，之前我个人写过两篇关于OLA...
转载
2021-06-10 20:24:18
292阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文作者来自阿里巴巴的贺小令，探讨了Flink在OLAP中的应用，之前我个人写过两篇关于OLA...
转载
2021-06-10 20:24:19
101阅读
本篇文章主要在架构&使用上介绍ClickHouse的基本概念&基本查询，抛砖引玉，大家实践的路上多多交流。说在前头：OLAP的分类与OLAP操作OLAP的架构分类1.ROLAP：使用关系模型进行建模，数据建模通常使用星型模型或雪花模型。OLAP最初提出的时候就是建立在关系型数据库上，将多维度分析操作直接转换为SQL查询。2.MOLAP：为了缓解ROLAP的性能问题，MOLAP使用多
转载
2024-06-12 20:48:34
62阅读
最强OLAP分析引擎-Clickhouse快速精通二 ==楼兰== 文章目录四、集群机制4.1 数据副本4.2 分布式表五、配置优化六、查询优化6.1 查看执行计划6.2 clickhouse内置的语法优化规则6.3 高性能查询优化1、选择合适的表引擎2、建表时不要使用Nullable3、合适的划分分区和索引4、数据变更优化5、使用Prewhere替代where6、指定列和分区7、避免构建虚拟
转载
2024-08-21 08:56:24
488阅读
Flink 是一个流批一体的计算引擎，既可以支持流式计算，也可以支持批式计算。为什么现在有很多系统选择使用 Flink 来做 OLAP 计算？
原创
2022-04-01 18:45:34
146阅读
字节跳动基础架构工程师方勇在 Flink Forward Asia 2021 核心技术专场的演讲分享
原创
2022-04-21 10:34:35
48阅读
实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下：而新一代日志监控选型如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从 ES 迁移到了 Clickhouse，将日志从ES迁移到ClickHouse可以节省更多的服务器资源，总体运维成本
转载
2024-04-23 14:45:17
982阅读
分享嘉宾：贺小令阿里巴巴技术专家编辑整理：王吉东内容来源：FlinkForwardASIA出品平台：DataFun注：转载请在公众号后台回复“转载”。导读：本次分享的主题为ApacheFlink新场景——OLAP引擎，主要内容包括：背景介绍ApacheFlinkOLAP引擎案例介绍未来计划1.OLAP及其分类OLAP是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的OLAP可以分为3
原创
精选
2021-03-27 22:25:42
1255阅读
本次分享的主题为Apache Flink新场景——OLAP引擎，主要介绍Apache Flink OLAP引擎及其在性能上的优化和应用。
转载
2021-06-13 21:17:04
255阅读
导读：本次分享的主题为Apache Flink新场景——OLAP引擎，主要内容包括：背景介绍Apache F
转载
2021-07-21 17:46:31
270阅读
引言ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内社区火热，各个大厂纷纷跟进大规模使用：
今日头条 内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。
腾讯内部用ClickHouse做游戏数据分析，并且为之建立了一整套监控运维体系。
目前还没有一个OLAP系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。 目前我们能接触到的开源OLAP包括但不限定于：Hive、Hawq、Spark SQL、Presto、Kylin、Impala、D
原创
2023-07-01 05:19:43
367阅读
一、引言Mondrian, 蒙得里安·皮特1872-1944荷兰画家，作品以交错的三原色为基色的垂直线条和平面为特点，他的著作包括 新造型主义(1920年），对抽象艺术的发展曾经产生很深影响。——金山词霸如是说。不过,本文所要讨论的可不是这位艺术家。那到底mondrian是什么呢？Mondrian是一个开源项目。一个用Java写成的OLAP（在线分析性处理）引擎。它用MDX语言实现查询
转载
2023-06-13 10:53:05
100阅读
1、前言在线分析系统(OLAP)将已有的数据通过运算公式和转换规则聚合出信息，因此OLAP引擎应该至少能够进行：一个或多个维度对数据进行提取、聚合、合计和预计算；一个或多个维度进行逻辑运算、公式等方式的处理；灵活的浏览分析，如一维和多维旋转、交叉表分析、上下钻取等；Elasticsearch(ES)的聚合功能提供了多级分组和统计的能力。聚合类似关系数据库中group by的的功能，在ES中，一次查
OLAP数仓入门-基础篇
链接：OLAP数仓入门问答-基础篇 https://zhuanlan.zhihu.com/p/144926830
OLAP入门问答-进阶篇 https://zhuanlan.zhihu.com/p/147344996
【讲稿】Impala在网易大数据中使用和优化实践 https://zhuanlan.zhihu
转载
2023-07-29 19:16:51
152阅读
字节跳动基础架构工程师何润康在 Flink Forward Asia 2022 核心技术专场的分享。
原创
2023-11-13 09:52:18
85阅读
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直
原创
2012-01-03 14:23:51
462阅读
一、概念联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维
原创
2016-02-22 20:11:15
2670阅读
# 实现Java OLAP
## 简介
在开始教授小白如何实现"Java OLAP"之前，让我们先了解一下OLAP（联机分析处理）的概念。OLAP是一种用于处理和分析多维数据的技术。它允许我们通过多维度和聚合计算来探索数据，从而更好地理解数据背后的模式和趋势。
在Java中，我们可以使用一些库来实现OLAP功能，如Mondrian和Pentaho。这些库提供了丰富的函数和API来处理多维数据，
原创
2023-08-09 07:15:53
144阅读
