kylin 架构 kylin搭建

本文档主要是kylin的搭建以及在搭建过程中遇见大问题。

1.环境

本文档主要搭建在开发环境。环境是基于CDH6.2 CDH中有hadoop ，spark ,hbase

2.下载

了解自己的环境就可以有针对的下载需要的版本。现在KYLIN的最新版本支持CDH6.0/6.1 咨询kylin用户，CDH6.2也是支持。所以，我下载的kylin 3.0.1 kylin官网 : http://kylin.apache.org/download/

也可以使用wget 命令下载。

cd /usr/local/
wget http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz

tar解压

tar -zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz

注意：在v2.6.1开始，Kylin将不再发布Spark二进制文件；您需要单独安装Spark，然后将SPARK_HOME系统环境变量指向它：

export SPARK_HOME=/path/to/spark

或者运行脚本下载

$KYLIN_HOME/bin/download-spark.sh

3、环境变量

由于，我们已经SPARK集群，hbase 集群。所以需要在/etc/profile文件添加配置。后面会和大家介绍HBASE_CLASSPATH。

#Kylin 
export KYLIN_HOME=/export/servers/kylin 
export HBASE_CLASSPATH=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-server-2.1.0-cdh6.2.0.jar:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-common-2.1.0-cdh6.2.0.jar
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark

配置完运行。

source /etc/profile

4、运行

4.1 、环境检查

运行前执行检查环境。Kylin在Hadoop集群上运行，并且对每个组件的版本，访问权限和CLASSPATH都有某些要求。为避免各种环境问题，您可以运行该脚本$KYLIN_HOME/bin/check-env.sh以对您的环境进行测试，如果您的环境有任何问题，该脚本将打印详细的错误消息。如果没有错误消息，则表明您的环境适合运行Kylin。

Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty

这就需要添加HBASE_CLASSPATH环境变量。虽然检查时会报错，但是可以正常运行。这点官网也是给出了答案以及解决办法。 https://issues.apache.org/jira/browse/KYLIN-3564

所以添加好export HBASE_CLASSPATH=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-server-2.1.0-cdh6.2.0.jar:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-common-2.1.0-cdh6.2.0.jar 环境变量。

4.2、启动

运行脚本$KYLIN_HOME/bin/kylin.sh start启动Kylin。接口输出如下：

Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apache-kylin-2.5.0-bin-hbase1x
......
A new Kylin instance is started by root. To stop it, run 'kylin.sh stop'
Check the log at /usr/local/apache-kylin-2.5.0-bin-hbase1x/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin

一旦麒麟启动时，您可以通过浏览器访问它http://<hostname>:7070/kylin与
指定<hostname>IP地址或域名，并且默认端口为7070。
初始用户名和密码ADMIN/KYLIN。
服务器启动后，您可以查看运行时日志$KYLIN_HOME/logs/kylin.log。

4.3 、停止

运行$KYLIN_HOME/bin/kylin.sh stop脚本以停止Kylin。
可以运行ps -ef | grep kylin以查看Kylin进程是否已停止。

5、问题

5.1、kylin正常启动，但是http://url:7070/kylin页面无法打开

(1) 打开kylin.log日志 报错

org/apache/commons/configuration/ConfigurationException 解决：

#下载 下面两个包
commons-collections-3.2.2.jar
commons-configuration-1.10.jar

1.可到maven仓库下载https://search.maven.org/ 搜索版本，下载。
2.可以使用本地maven仓库下载。

<!-- https://mvnrepository.com/artifact/commons-collections/commons-collections -->
<dependency>
    <groupId>commons-collections</groupId>
    <artifactId>commons-collections</artifactId>
    <version>3.2.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/commons-configuration/commons-configuration -->
<dependency>
    <groupId>commons-configuration</groupId>
    <artifactId>commons-configuration</artifactId>
    <version>1.3</version>
</dependency>

(2) 下载完复制到kylin 的lib目录。

$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib

/export/servers/kylin/tomcat/webapps/kylin/WEB-INF/lib 复制便可以正常启动。