apache kylin架构 kylin搭建

文章目录

• kylin搭建及使用

• 1、上传解压配置环境变量
• 2、验证环境是否可行（如下图所示为成功）
• 3、启动kylin，最后出现http://...../7070/kylin,且没有报依赖错误为成功，然后就可以去web界面访问了
• 4、访问kylin
• 5.进入后先创建一个project
• 6.导入数据选择table后面的三个按钮中间的那个（数据选择自己所需的）
• 7.创建model（点击+New后，有三个模块，选择New Model）

• 7.1 model名称
• 7.2 model的数据（选择你导入的数据）
• 7.3 所需列
• 7.4 查询列（可不选）
• 7.5 选择对应分区以及日期数据格式（格式不匹配最终会导致没数据）

• 8.再建一个Cube（步骤类似model创建）

• 8.1 选择model名（上面刚建的model），设置cube名
• 8.2 选择所有字段
• 8.3 点击Mesure选择count，min,sum,max......等所需函数
• 8.4 最大限制维度

• 9.然后都直接进行下一步，在下一步然后save
• 10.然后到Monitor查看进度

kylin搭建及使用

注意：将虚拟机master节点的内存调到3G以上

1、上传解压配置环境变量

tar -zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz

mv apache-kylin-2.5.0-bin-hbase1x kylin-2.5.0

#在/etc/profile中增加
export HIVE_CONF=/usr/local/soft/hive-1.2.1/conf

#没安装kafka的忽略这一步
#删除kafka环境变量
unset KAFKA_HOME

启动：jobhistory

#在master启动jobhistory
mr-jobhistory-daemon.sh start historyserver

启动zookeeper(集群记得每个节点都要启动)

zkServer.sh start

启动hbase

start-hbase.sh

2、验证环境是否可行（如下图所示为成功）

check-env.sh

3、启动kylin，最后出现http://…/7070/kylin,且没有报依赖错误为成功，然后就可以去web界面访问了

kylin.sh start

4、访问kylin

http://master:7070/kylin

初始用户名和密码是 ADMIN/KYLIN,用户名，密码都是大写！！！

5.进入后先创建一个project

6.导入数据选择table后面的三个按钮中间的那个（数据选择自己所需的）

7.创建model（点击+New后，有三个模块，选择New Model）

7.1 model名称

7.2 model的数据（选择你导入的数据）

7.3 所需列

7.4 查询列（可不选）

7.5 选择对应分区以及日期数据格式（格式不匹配最终会导致没数据）

8.再建一个Cube（步骤类似model创建）

8.1 选择model名（上面刚建的model），设置cube名

8.2 选择所有字段

8.3 点击Mesure选择count，min,sum,max…等所需函数

8.4 最大限制维度

Mandatory Dimensions:必须要用的维度（就是你的需求表里都有这个字段列）

Hierarchy Dimensions: 需要关联的层次维度

引擎选择，建议mapreduce(虽然慢但是可以稳定运行完),spark不是很稳定，可能会报错

9.然后都直接进行下一步，在下一步然后save

然后点击后面的Actions然后点击里面的build

选择运行时间范围

然后点击submit提交

10.然后到Monitor查看进度

如下图一所示Progress进度开始为0

再看已经运行了一部分了

也可以点击最右边的（>）按钮查看进度侧边栏

如果任务运行失败可能是内存不够导致，所以开始就把资源给多一点