非Kerberos环境下Hive2.2.0 On Tez集成

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

​​https://github.com/fayson/cdhproject​​

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

---

在前面的文章《​​如何在CDH集群中安装Hive2.3.3​​​》、《​​如何为Hive2启用Kerberos认证​​​》及《​​Hive2.2.0如何与CDH集群中的Spark1.6集成​​》Fayson介绍了Hive2的安装与Spark集成以及如何启用Kerberos，本篇文章Fayson主要介绍如何在非Kerberos环境下为Hive2.2.0配置Tez计算引擎。

• 本次Fayson的测试环境为

1.CM和CDH版本为5.15

2.Redhat7.3

3.JDK1.8.0_141

4.Hive版本为2.2.0

5.Tez版本为0.8.5

2.环境准备

---

1.Tez版本选择

对于Tez版本0.8.3及更高版本需要Apache Hadoop2.6.0或更高版本。对于Tez版本为0.9.0及更高版本则需要Apache Hadoop2.7或更高版本。在CDH集群中使用的Hadoop版本为2.6.0，所以这里选择Tez的版本为0.8.5。

2.在Apache官网下载Tez包，下载地址如下：

http://mirror.bit.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz

（可左右滑动）

将apache-tez-0.8.5-bin.tar.gz压缩包下载至Hive2服务所在服务器

将下载好的压缩包解压至当前目录

[root@cdh01 tez-0.8.5]# tar -zxvf apache-tez-0.8.5-bin.tar.gz

（可左右滑动）

3.Hive2集成Tez

---

1.将apache-tez-0.8.5-bin/share目录下的压缩包部署至HDFS上

[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/share/
[root@cdh01 share]# hadoop fs -mkdir -p /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -put tez.tar.gz /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -chmod -R 777 /engine
[root@cdh01 share]# hadoop fs -ls /engine/tez-0.8.5

（可左右滑动）

2.在{HIVE_HOME}/conf目录下创建tez-site.xml文件，内容如下：

[root@cdh04 conf]# vim tez-site.xml 
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>/engine/tez-0.8.5/tez.tar.gz</value>
    </property>
</configuration>

（可左右滑动）

注意：tez.lib.uris配置的路径为上一步tez.tar.gz压缩包部署的HDFS路径。同样tez-site.xml文件需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

3.将apache-tez-0.8.5-bin/share目录下的tez.tar.gz压缩包解压当前lib目录下

[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/
[root@cdh01 apache-tez-0.8.5-bin]# cd share/
[root@cdh01 share]# ll
[root@cdh01 share]# mkdir lib
[root@cdh01 share]# tar -zxvf tez.tar.gz -C lib/

（可左右滑动）

4.将lib和lib/lib目录下的所有jar包拷贝至{HIVE_HOME}/lib目录下

[root@cdh01 lib]# pwd
/data/disk1/tez-0.8.5/apache-tez-0.8.5-bin/share/lib
[root@cdh01 lib]# scp -r *.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# scp -r lib/*.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# ll /opt/cloudera/HIVE2/lib/tez-*

（可左右滑动）

注意：Tez的依赖包需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

5.完成如上操作后，重启HiveServer和HiveMetastore服务

[root@cdh04 ~]# hive2
[root@cdh04 ~]# netstat -apn |grep 9083
[root@cdh04 ~]# hive2-server 
[root@cdh04 ~]# netstat -apn |grep 10000

（可左右滑动）

hive2和hive2-server命令在环境变量中配置了别名：

4.Hive2 On Tez测试

---

1.使用hive命令测试

[root@cdh04 ~]# sudo -u hive /opt/cloudera/HIVE2/bin/hive --hiveconf hive.root.logger=INFO,console
hive> SET hive.tez.container.size=3020;
hive> set hive.execution.engine=tez;
hive> select count(*) from;

（可左右滑动）

2.使用Beeline测试

[root@cdh04 ~]# /opt/cloudera/HIVE2/bin/beeline
beeline> !connect jdbc:hive2://cdh04.fayson.com:10000 hive hive
0: jdbc:hive2://cdh04.fayson.com:10000> SET hive.tez.container.size=3020;
0: jdbc:hive2://cdh04.fayson.com:10000> set hive.execution.engine=tez;
0: jdbc:hive2://cdh04.fayson.com:10000> select count(*) from test;

（可左右滑动）

插入数据成功：

3.访问Yarn的8080界面可以看到作业类型为TEZ

5.常见异常

---

1.使用Beeline访问是提示不允许使用root用户模拟hive访问

原因：Fayson这里启动Hive服务使用的为root用户。

如下两种解决方式：

• 使用hive用户启动HiveServer2和HiveMetastore服务
• 在HDFS的core-site.xml配置文件中增加如下配置

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

（可左右滑动）

修改完成后回到CM根据提示重启所有服务。

2.设置为tez引擎后，执行SQL报错

异常原因：在Hive使用Tez引擎是，Tez使用hive.tez.container.size参数生成一个Mapper，在Hive中该参数默认配置为-1。

解决方法：

• 在hive-site.xml配置中增加该参数并设置为Yarn容器yarn.scheduler.minimum-allocation-mb相同或1到2倍，但不能大于yarn.scheduler.maximum-allocation-mb。
• 在执行SQL在动态的设置set hive.tez.container.size=4096

6.总结

---

1.Hive2 On Tez集成时需要确认Hadoop的版本，根据Hadoop的版本选择支持的Tez版本。

2.Hive2集成Tez时需要注意你HiveServer2和HiveMetastore服务是否在同一个节点上，如果不在同一个节点上tez-site.xml和依赖包需要拷贝至服务所在节点的相应目录下。

3.在本篇文章虽然在非Kerberos环境的Hive2中成功的集成了Tez0.8.5，但官网默认编译的版本在CDH中会有依赖的问题，可能会导致MR作业不能正常使用且在Kerberos环境下不能正常使用的问题，在后面的文章Fayson会介绍如何编译一个CDH依赖的Tez并集成。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操