播客:http://tech.meiyou.com/?p=97官网创建cube: http://kylin.apache.org/cn/docs15/tutorial/create_cube.html Cube执行原理:1、创建Cube:2、编译Cube(Build Cube):定义好Cube之后,Apache Kylin通过MapReduce,将存储在Hive中的事实表和维
转载 2024-05-27 15:46:03
76阅读
OLAP(on-Line AnalysisProcessing)的实现方式ROLAP:基于关系数据库的OLAP实现(Relational OLAP)。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的维,为避
一 安装配置nfs服务1.新建目录mkdir /home/ning/rootfs2.安装nfs服务ning@ENVY:/$ sudo apt install nfs-kernel-server正在读取软件包列表... 完成正在分析软件包的依赖关系树       正在读取
转载 2024-03-12 21:46:55
233阅读
本文档主要是kylin搭建以及在搭建过程中遇见大问题。1.环境本文档主要搭建在开发环境。环境是基于CDH6.2 CDH中有hadoop ,spark ,hbase2.下载了解自己的环境就可以有针对的下载需要的版本。现在KYLIN的最新版本支持CDH6.0/6.1 咨询kylin用户,CDH6.2也是支持。所以,我下载的kylin 3.0.1 kylin官网 : http://kylin.apac
转载 2023-12-11 19:57:31
176阅读
现在已经名满天下的 Apache Kylin,是 Hadoop 大数据生态系统不可或缺的一部分,要知道在 Kylin 项目早期,可是以华人为主的开源团队,一路披荆斩棘经过几年的奋斗,才在 Apache 基金会牢牢的巩固了自己的位置。作为本土第一个进入到世界顶级基金会的项目,Kylin 的经验是值得大家学习的。以下内容根据 COSCon'17讲师史少锋(Apache Kylin PMC&Co
今天,全球有超过1000+企业都在使用“麒麟”(Apache Kylin)这只神兽,在 Hadoop 生态中,大家对它的认可度和赞誉都很高。Apache Kylin 是运行在 Hadoop 集群之上的应用服务,而 Hadoop 集群的部署又并非易事,那这是否就阻碍了我们探究 Apache Kylin 的步伐呢?答案是否定的,通过借助强大的虚拟技术,在本地就能体验到“麒麟”的魅力,那么接下来就让我们
软件要求Hadoop: 2.7+, 3.1+ (since v2.5)Hive: 0.13 - 1.2.1+HBase: 1.1+, 2.0 (since v2.5)Spark (可选) 2.3.0+Kafka (可选) 1.0.0+ (since v2.5)JDK: 1.8+ (since v2.5)OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+在 H
文章目录kylin搭建及使用1、上传解压配置环境变量2、验证环境是否可行(如下图所示为成功)3、启动kylin,最后出现http://...../7070/kylin,且没有报依赖错误为成功,然后就可以去web界面访问了4、访问kylin5.进入后先创建一个project6.导入数据选择table后面的三个按钮中间的那个(数据选择自己所需的)7.创建model(点击+New后,有三个模块,选择N
转载 2023-10-25 21:50:56
961阅读
目录一、Kylin概述二、Kylin机构三、Kylin特点四、安装4.1 Kylin依赖环境4.2 Kylin搭建4.3 Kylin兼容性问题4.4 Kylin启动五、Kylin Cube构建原理5.1 维度和度量5.2 Cube和Cuboid5.3 Cube构建算法六、Kylin Cube构建优化6.1 使用衍生维度(derived dimension)6.2 使用聚合组(Aggreg
转载 2023-11-10 00:19:15
333阅读
目录一、Kylin简介1. 发展历程2. 工作原理3. 基本架构4. 特点二、Kylin安装1. 环境准备2. Kylin3. 启动4. 登录网页三、相关资源 一、Kylin简介Apache Kylin是基于Hadoop大数据平台的一个开源联机分析处理(Online Analytical Processing,OLAP)引擎。它采用多维立方体预计算技术,将大数据的SQL查询速度从之前的分钟乃至小
KylinKylin 大数据OLAP引擎Kylin简介Kylin的应用场景为什么要使用KylinKylin的总体架构小结 Kylin 大数据OLAP引擎Kylin简介Kylin的诞生背景:Kylin-中国团队研发的,是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目Hive的性能比较慢,支持SQL灵活查询,特别慢HBase的性能快,原生不支持SQL - phoenix
搭建Kylin的时候,需要确保HDFS、yarn、hive、zookeeper、hbase等部署完毕。1.安装2.进行安装kylin操作1. 进行解压到指定位置 /opt/module2. mv /opt/module/apache-kylin-3.0.1-bin /opt/module/kylin兼容问题解决上面部署完后后,我们进行启动会发现 kylin出现异常报错,我们需要进行需要
一、安装准备1、操作系统 Centos 7.x2、时间问题 集群内所有节点时间一定要同步。 NTP、Chrony 3、用户 创建hadoop组和hadoop用户,并做ssh免密码登录 4、Hadoop HA集群 Hadoop 2.7.3 5、HBase hbase 1.x 6、Hive Hive 1.2.1,使用 mysql 存放元数据 7、准备目录 # mkdir /i
背景 : 近来公司要做报表,随简单研究一下KylinKylin可谓是我泱泱中华在Apace史上耀眼的一笔。作用: Kylin是强大的OLAP分析引擎,详见官网。 Kylin 1.6 CDH5.10安装 Kylin有两种安装方式:单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的,解压即安装。配置 1.环境变量的配置: export HADOOP_USER_NAME=hdfs
转载 2023-12-30 11:41:42
126阅读
本篇博客重点介绍如何使用Kylin来构建大数据分析平台。根据官网介绍,其实部署Kylin非常简单,称为非侵入式安装,也就是不需要去修改已有的Hadoop大数据平台。你只需要根据的环境下载适合的Kylin安装包,选择一个Hadoop节点部署即可,Kylin使用标准的Hadoop API跟各个组件进行通信,不需要对现有的Hadoop安装额外的Agent。最底层是数据来源层,我们可以通过Sqoop等工具
转载 2023-12-27 14:53:49
67阅读
版本Apache独立版本,kylin-3.0.1,下载包apache-kylin-3.0.1-bin-hadoop3.tar.gz安装准备如下部分要预先对配置进行修改、或者准备好spark等部件,因为Kylin启动依赖的部件较多,最好预先准备,否则在启动时,会陆续报错。修改Hbase的“hbase”脚本cd $HBASE_HOME/binvim hbase在CLASSPATH=${CLASSPAT
转载 3月前
369阅读
一、kylin提交任务,一直为pending状态,不执行任务     在部署项目时,遇到这个问题,任务成功提交,本以为过一会执行,结果等了一个多小时还是pending状态,执行时间也没有刷新,一直时0.后台任务不报错,提示为坏的查询。最后也是在无意之中,发现问题。    问题就是其实根本没有启动运算服务集群的kylin服务,工作中为分布式kylin
转载 2024-06-20 15:50:11
74阅读
NFS(network file system),即网络文件系统;它用于在网络上共享存储。这次试验准备两台虚拟机,一个作为服务端,一个为客户端。服务端共享一个目录,然后客户端挂载这个目录就可以实现共享存储了。1、服务端配置NFS 首先需要安装两个包nfs-utils和rpcbind(用于服务端和客户端之间的通信,CentOS6版本以前都是安装portmap包,实际上是同一个东西)[root@tpp
原创 2015-09-22 23:12:23
482阅读
远程网络挂载
转载 2018-05-29 17:09:36
509阅读
环境:    System:Sentos7.4    Server1:172.16.74.1    Server2:172.16.74.2    Server3:172.16.74.3一、安装Server1,Server2,Server3都安装rpcbind,nfs-utils~
原创 2018-11-11 22:34:32
893阅读
  • 1
  • 2
  • 3
  • 4
  • 5