CDH 6.3.2 集成 kylin 的部署与使用

精选原创

flyfish225 2020-12-08 12:25:32 博主文章分类：大数据技术 ©著作权

文章标签 cdh6.3.2 kylin 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者flyfish225的原创作品，谢绝转载，否则将追究法律责任

CDH 6.3.2 集成 kylin 的部署与使用

标签（空格分隔）：大数据运维专栏

一：关于kylin的介绍

二：安装环境介绍与软件包的准备

三：配置kylin 与 CDH 6.3.2集成

四： kylin 的测试

五： kylin 自建表导入数据测试

一：关于kylin的介绍

1.1 Apache Kylin™ 概览

 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。

Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。

    1 定义数据集上的一个星形或雪花形模型
    2 在定义的数据表上构建cube
    3 使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询，仅需亚秒级响应时间即可获得查询结果

Kylin 提供与多种数据可视化工具的整合能力，如 Tableau，PowerBI 等，令用户可以使用 BI 工具对 Hadoop 数据进行分析。


参考官网：

http://kylin.apache.org/cn/

图片.png-123.3kB

##二：安装环境介绍与软件包的准备

2.1 安装系统环境

系统：CentOS7.5x64
CDH 版本： cdh 6.3.2
jdk 版本： jdk1.8

cat /etc/hosts 

---
192.168.11.37	test01.lanxintec.cn
192.168.11.38	test02.lanxintec.cn
192.168.11.40	test03.lanxintec.cn
---

2.2 kylin 版本

2.2.1 kylin v3.1.0

v3.1.0

    这是 3.0.0 版本后的一个主要版本，包含10个新功能和142个问题的修复以及各种改进。关于具体内容请查看发布说明.
    发布说明, 安装指南 and 升级指南
    源码下载: apache-kylin-3.1.0-source-release.zip [asc] [sha256]
    Hadoop 2 二进制包:
        for HBase 1.x (includes HDP 2.3+, AWS EMR 5.0+, Azure HDInsight 3.4 - 3.6) - apache-kylin-3.1.0-bin-hbase1x.tar.gz [asc] [sha256]
        for Cloudera CDH 5.7+ - apache-kylin-3.1.0-bin-cdh57.tar.gz [asc] [sha256]
    Hadoop 3 二进制包:
        for Hadoop 3.1 + HBase 2.0 (includes Hortonworks HDP 3.0) - apache-kylin-3.1.0-bin-hadoop3.tar.gz [asc] [sha256]
        for Cloudera CDH 6.0/6.1 (check KYLIN-3564 first) - apache-kylin-3.1.0-bin-cdh60.tar.gz [asc] [sha256]

三：配置kylin 与 CDH 6.3.2集成

3.1 下载kylin

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-3.1.0/apache-kylin-3.1.0-bin-cdh60.tar.gz

mv apache-kylin-3.1.0-bin-cdh60.tar.gz software/

3.2 安装启动kylin

mkdir -p /opt/bigdata/

cd software

tar -zxvf apache-kylin-3.1.0-bin-cdh60.tar.gz

mv apache-kylin-3.1.0-bin-cdh60 /opt/bigdata/

图片.png-48.6kB

cd /opt/bigdata/apache-kylin-3.1.0-bin-cdh60

bin/kylin.sh start

图片.png-32.9kB

报错：
    Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty

解决： 

 vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/bin/hbase
 
 ----
 在169 行: 加上hbase lib 
 
CLASSPATH="${HBASE_CONF_DIR}"
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/lib/*
----

图片.png-11.4kB

vim /etc/profile 
到最后加上：
---
### set spark home and kylin home and kafka home 
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark
export KAFKA_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kafka
export FLINK_HOME=/opt/cloudera/parcels/FLINK/lib/flink
export KYLIN_HOME=/opt/bigdata/apache-kylin-3.1.0-bin-cdh60

---

若没有集成请集成安装 flink 与安装 kafka 

cd /opt/bigdata/apache-kylin-3.1.0-cdh60/

bin/check-env.sh 

保证所有环境都是pass 状态

图片.png-20.9kB

启动kylin 

bin/kylin.sh start

图片.png-46kB

图片.png-29.9kB

查看logs目录
cd /opt/bigdata/apache-kylin-3.1.0-cdh60/logs/
tail -f kylin.log

图片.png-79.2kB

打开web 也没

http://192.168.11.37/kylin/

用户名：ADMIN  密码：KYLIN  (用户名密码都是大写)

图片.png-28kB

图片.png-36.5kB

四：运行kylin 的测试用列

4.1: 运行kylin的用列

4.1.1 启动sample.sh

cd /opt/bigdata/apache-kylin-3.1.0-cdh60/bin/

./sample.sh

图片.png-53.5kB

图片.png-34.8kB

图片.png-33.9kB

从启kylin
cd /opt/bigdata/apache-kylin-3.1.0-cdh60/bin
./kylin.sh stop 
./kylin.sh start

图片.png-20.7kB

图片.png-26.9kB

从新刷新一下元数据（RELOAD METADATA）

点击：System ---> RELOAD METADATA

图片.png-104.2kB

点击：YES 

在右下角会有
   Sucess  cache reaload Sucessful

图片.png-77.1kB

图片.png-7.1kB

点击菜单栏上的 Model

会生成两个sample 表的模型

kylin_sales_model
kylin_streaming_model

图片.png-56kB

在hive中 查看表：

hive 


hive > show tables;

hive> select count(*) from kylin_account;

图片.png-34.8kB

打开yarn的界面

http://192.168.11.37:8088

图片.png-56.5kB

最后显示为10000 条 数据

图片.png-53.8kB

将hive 中的表 刷新到 impala 当中

impala的加载表：

impala-shell -i "INVALIDATE METADATA" 

单独刷新一张表：
refrash  + 表名
hive 的default库 当中多了几张kylin的表

4.1.2 构建表cube

以kylin 表 中 的 ： kylin_sales_cube

图片.png-68.5kB

点击 YES

图片.png-76.1kB

这边只构建 一个月维度的sales 不然硬件配置不够，此步会消耗巨大的硬件资源

图片.png-48kB

构建 点击monitor 查看build

可以不断的刷新网页 查看 job 的 构建 进度

图片.png-57.9kB

图片.png-55.9kB

这边默认 走的是Hadoop 的mapreduce  所以比较慢

图片.png-121.5kB

图片.png-47.9kB

图片.png-56.9kB

构建查询：

点击：insight 
New Query:

select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

图片.png-99.1kB

在hive 中查询
select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

图片.png-75.8kB

图片.png-17.9kB

在kylin 中查询只要 7.09s  而在hive 中查询 要 102.895s

执行一个复杂的查询：

select sum(KYLIN_SALES.PRICE) 
as price_sum,KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME 
from KYLIN_SALES inner join KYLIN_CATEGORY_GROUPINGS
on KYLIN_SALES.LEAF_CATEG_ID = KYLIN_CATEGORY_GROUPINGS.LEAF_CATEG_ID and 
KYLIN_SALES.LSTG_SITE_ID = KYLIN_CATEGORY_GROUPINGS.SITE_ID
group by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
order by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME asc,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME desc

图片.png-68.7kB

在hive 中查询：

select sum(KYLIN_SALES.PRICE) 
as price_sum,KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME 
from KYLIN_SALES inner join KYLIN_CATEGORY_GROUPINGS
on KYLIN_SALES.LEAF_CATEG_ID = KYLIN_CATEGORY_GROUPINGS.LEAF_CATEG_ID and 
KYLIN_SALES.LSTG_SITE_ID = KYLIN_CATEGORY_GROUPINGS.SITE_ID
group by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
order by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME asc,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME desc

图片.png-35kB

图片.png-15kB

在kylin 中查询 只要 2.18s  hive 中查询 要 116.07s

五： kylin 自建表导入数据测试

5.1 自建数据准备文件

create_table.sql  department.csv  employee.csv

将这三个文件传到 hdfs 上面

hdfs dfs -mkdir /tmp/kylin-test

hdfs dfs -put create_table.sql  department.csv  employee.csv /tmp/kylin-test

图片.png-27.4kB

vim create-table.sql 
---
DROP TABLE IF EXISTS employee;

CREATE TABLE employee(
id int,
name string,
deptId int,
age int,
salary float
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;


DROP TABLE IF EXISTS department;

CREATE TABLE department(
id int,
name string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

LOAD DATA INPATH '/tmp/kylin-test/employee.csv' OVERWRITE INTO TABLE employee;
LOAD DATA INPATH '/tmp/kylin-test/department.csv' OVERWRITE INTO TABLE department;
---

向hive 中 到如数据

hive -f create_table.sql

图片.png-40kB

图片.png-37kB

图片.png-24.6kB

图片.png-20.5kB

5.2 在kylin 中创建demo

图片.png-32.7kB

图片.png-33.4kB

点击 Data_Source 加载 hive 中的 表

图片.png-34.2kB

加载 department,employee 表
点击：sync  同步表

图片.png-28.5kB

图片.png-31.2kB

创建model，入project的名称和描述：
kylin_test_table_moder

图片.png-36.5kB

选择创建moder 的表
  与lookup table

图片.png-34.9kB

图片.png-64.6kB

图片.png-46.5kB

选择维度字段

图片.png-39.7kB

保存模型moder

图片.png-59.8kB

图片.png-36.2kB

创建cube

图片.png-35.8kB

选择保存好moder

图片.png-55.9kB

next -> add Dimensions

图片.png-33.9kB

图片.png-37.4kB

图片.png-63.1kB

next-->  添加 bluk add Measure

图片.png-69.9kB

图片.png-61.2kB

next

图片.png-59kB

next

图片.png-38.9kB

next

图片.png-49kB

save ---> yes

图片.png-62.7kB

build --->构建cube

图片.png-55.4kB

yes

图片.png-36.9kB

图片.png-8.3kB

开始构建cube 

这步 要消耗很长时间，具体 看 硬件配置

图片.png-53.7kB

图片.png-26.9kB

图片.png-99.1kB

图片.png-45.9kB

构建完成

图片.png-48.5kB

点击:insight 
进行查询测试：

查询测试：
 select count(*) from department;

图片.png-53.2kB

kylin 与hive 查询对比

统计各部门员工薪资总和:

select d.ID,sum(e.SALARY) as salary from EMPLOYEE as e left join DEPARTMENT as d on e.DEPTID=d.id group by d.ID order by salary desc

kylin 查询

图片.png-96.7kB

hive 查询

图片.png-59.8kB

图片.png-33kB

kylin 查询 只需要 0.48s 
hive 查询 需要 113.508s

上一篇：基于Promethues与Grafana的Greenplum分布式数据库监控的实现

下一篇：如何自定义编译zeppelin与livy 的parcels 与CDH6.3.2 集成

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

CDH 6.3.2 集成 kylin 的部署与使用

CDH 6.3.2 集成 kylin 的部署与使用

CDH 6.3.2 集成 kylin 的部署与使用

一：关于kylin的介绍

1.1 Apache Kylin™ 概览

2.1 安装系统环境

2.2 kylin 版本

2.2.1 kylin v3.1.0

三： 配置kylin 与 CDH 6.3.2集成

3.1 下载kylin

3.2 安装启动kylin

四：运行kylin 的测试用列

4.1: 运行kylin的用列

4.1.1 启动sample.sh

4.1.2 构建 表cube

五： kylin 自建表导入数据测试

5.1 自建数据准备文件

5.2 在kylin 中创建demo

51CTO博客

三：配置kylin 与 CDH 6.3.2集成

4.1.2 构建表cube