Apache Kylin 使用 Apache Calcite 做 SQL 解析和优化。作为一款 OLAP 引擎, Kylin 支持 SELECT 操作,而不支持其它操作例如 INSERT,UPDATE 和 DELETE,因此 Kylin 的 SQL 语法是 Apache Calcite 支持语法的一个子集。本文列举了 Kylin 支持的 SQL 语            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-03 13:24:17
                            
                                47阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-06-10 20:59:41
                            
                                1422阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-06-10 20:59:39
                            
                                1201阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1. CUBE的构建1.新建项目由顶部菜单栏进入 Model 页面,然后点击 Manage Projects。新建项目2.同步Hive表在顶部菜单栏点击 Model,然后点击左边的 Data Source 标签,它会列出所有加载进 Kylin 的表,点击 Load Table 按钮。3.新建 Data Model创建 cube 前,需定义一个数据模型。数据模型定义了一个星型(star schema            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-26 23:33:49
                            
                                174阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             播客:http://tech.meiyou.com/?p=97官网创建cube: http://kylin.apache.org/cn/docs15/tutorial/create_cube.html Cube执行原理:1、创建Cube:2、编译Cube(Build Cube):定义好Cube之后,Apache Kylin通过MapReduce,将存储在Hive中的事实表和维            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-27 15:46:03
                            
                                76阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            上一章中讲了怎么创建cube,最后演示了一个cube怎么执行的,这一章来说说kylin到底是怎么来构建cube的。点击我们的cube的最右边的箭头,页面右边展示了整个cube构建的详细步骤,查看每个步骤的log,显示详细构建过程。  1.构建中间表。拿第二章的例子来说,就是构建由员工和部门组成的宽表。日志如下:2.将中间表的数据均匀分配到不同的文件。因为后面的程序是从中间表读取            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-11 17:22:00
                            
                                87阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1.1.1 新建一个项目 1.1.1.1 由顶部菜单栏进入Query页面,然后点击左上角的加号按钮新建一个project。 1.1.1.2 选择自己要定义的项目名 1.1.1.3 创建成功后会出现成功的弹窗 通过以上的步骤一个新的project创建成功。 1.1.2 同步一张表 1.1.2.1 选择自己新建的项目名 1.1.2.2 导入需要的数据库表 在这里运用到的是hive作为数据源。 1.1.            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-28 07:58:11
                            
                                103阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            使用Spark构建Cube的实操记录,完善了 Spark on Yarn 的配置调整说明。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-08 13:45:55
                            
                                185阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1 前言 在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然我们也可以根据原始表中的某一个string字段(            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-07-10 11:41:18
                            
                                28阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            第5章 Cube构建优化从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。但在现实情况中,            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-03-03 16:20:34
                            
                                97阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            第5章 Cube构建优化从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-08-17 17:18:32
                            
                                151阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             Kylin Cube的优化        在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。但在现实情况中,用户的维度数量一般远远大于4个。假设用户有10 个维度,那么没有经过任何优化的Cube就会存在2            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-31 23:41:12
                            
                                60阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
                从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。    但在现实情况中,用户的维度数量一般远远大于4个。假设用户有10 个维度,那么没有经过任何优化的Cube就会存在21            
                
         
            
            
            
            从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。 但在现实情况中,用户的维度数量一般远远大于4个。假设用户有10 个维度,那么没有经过任何            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2020-07-31 17:13:00
                            
                                222阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            最近搭了Kylin Streaming并初步测试了下,觉得这个东西虽然有些限制,但还是蛮好用的,所以系统写篇文章总结下其原理和一些配置。
    目录前言kylin streaming设计和原理架构介绍streaming coordinatorstreaming receiver clusterkylin streaming数据构建流程kylin streami            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-26 20:16:25
                            
                                26阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Apache Kylin 是一个开源的分布式分析引擎,专注于提供大数据的实时OLAP(在线分析处理)能力。Cube(立方体)是 Apac            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                            精选
                                                        
                            2024-10-29 13:48:45
                            
                                257阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HDP版本:2.6.4.0 Kylin版本:2.5.1 机器:三台 CentOS-7,8G 内存 Ky            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2020-08-11 17:05:00
                            
                                203阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
              此篇为大家带来的是Cube构建优化。目录一. 使用衍生维度(derived dimension)二. 使用聚合组(Aggregation group)四. Row Key优化五. 并发粒度优化  上一篇博文我们已经介绍过,在没有采取任何优化措施的情况下            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-09-02 13:58:26
                            
                                388阅读
                            
                                                                             
                 
                
                             
         
            
            
            
              此篇为大家带来的是Cube构建原理。目录一. Cube构建流程二            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-09-02 13:58:49
                            
                                792阅读