Hue3.9

因网上没有一篇教程可以完全参照安装成功,我将我安装过程中遇到的问题集结起来,以及其他教程的精华部分整理好,内容如下:

Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,支持Spark编辑器和仪表板(Dashboard),支持HBase浏览器,能够可视化数据、查询数据、修改HBase表等。

环境准备

CentOS6.6 ,提前预装maven,git,jdk7
同时在root下安装如下内容:

yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

下载源码

cd /opt/
git clone https://github.com/cloudera/hue.git

修改POM

vim /opt/hue/maven/pom.xml
  1. 将Hadoop和Spark修改为相应的版本:
<hadoop-mr1.version>2.6.0</hadoop-mr1.version>
<hadoop.version>2.6.0</hadoop.version>
<spark.version>1.4.0</spark.version>
  1. 将hadoop-core修改为hadoop-common(core会报错找不到)
<artifactId>hadoop-common</artifactId>
  1. 将hadoop-test的版本改为1.2.1:
<artifactId>hadoop-test</artifactId>
<version>1.2.1</version>

4.将两个ThriftJobTrackerPlugin.java文件删除,分别在如下两个目录:

/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/thriftfs/ThriftJobTrackerPlugin.java

/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java

漫长的编译过程

cd /opt/hue
make apps

期间会提示spark-assembly_2.10:1.4.0.jar找不到的错误:

Failure to find org.apache.spark:spark-assembly_2.10:jar:1.4.0

由于maven仓库中没有这个jar包。所以我们需要将$SPAEK_HOME/lib中的spark-assembly-1.4.0-hadoop2.6.0.jar重命名为park-assembly-1.4.0.jar放到~/.m2/repository/org/apache/spark/spark-assembly_2.10/1.4.0/中即可!

初次启动

编译成功后,hue就可以运行了

/opt/hue/build/env/bin/supervisor

启动后通过浏览器访问8000端口。
虽然启动了,我们看到很多功能都报错,因为我们还没有为Hue进行正确的配置。

参数配置

vim desktop/conf/pseudo-distributed.ini
首先是desktop配置项:

配置项

内容

说明

default_hdfs_superuser

hadoop

HDFS管理用户

http_host

master

Hue Web Server所在主机/IP

http_port

8000

Web Server服务端口

server_user

hadoop

运行Hue Web Server的进程用户

server_group

hadoop

运行Hue Web Server的进程用户组

default_user

root

Hue管理员

HDFS的配置:

配置项

内容

说明

fs_defaultfs

hdfs://master:8020

HDFS管理用户

webhdfs_url

http://master:50070/webhdfs/v1

使用WebHdfs

Yarn的配置:

配置项

内容

说明

resourcemanager_host

master

对应yarn-site.xml配置项yarn.resourcemanage

resourcemanager_port

8032

ResourceManager服务端

resourcemanager_api_url

http://master:8088

对应于yarn-site.xml配置项yarn.resourcemanage

proxy_api_url

http://master:8888

对应yarn-site.xml配置项yarn.web-proxy.address

history_server_api_url

http://master:19888

对应mapred-site.xml配置项mapreduce.jobhistory.we

zookeeper配置

配置项

内容

说明

host_ports

master:2181,slave1:2181,slave2:2181

多个zookeeper逗号分隔

Hbase配置

配置项

内容

说明

hbase_clusters

(HBase

master:9090)

对接配置

HDFS

在NameNode的hdfs-site.xml增加如下配置:

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在NameNode的core-site.xml增加如下配置:

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

成功后如下图所示:

可以对文件进行删除,移动,下载,和预览,非常方便

hadoop helm安装 hadoop安装教程_spark

YARN

不要修改yarn的配置,直接上效果图:

我们可以查看每个任务的运行情况

hadoop helm安装 hadoop安装教程_spark_02

HBase
启动Thrift Server:

hbase thrift start

我们可以通过hue查看所有的Hbase表,并且对内容进行查找,删除,更新等一系列操作

hadoop helm安装 hadoop安装教程_spark_03