hive tez引擎内存

准备工作

• hadoop版本：3.0.0-cdh6.3.2
• hive版本：hive-2.1.1
• linux环境:centos7.6
• jdk1.8
• maven-3.6以上
• protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载)

https://github.com/protocolbuffers/protobuf/releases
直接拉到最后一页

tez-0.9.2源码包

https://dlcdn.apache.org/tez/0.9.2/

mvn安装就不提了

protobuf安装

解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make
make install
验证:
protoc --version
注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc

安装tez0.9.2

• 解压:

tar -zxvf apache-tez-0.9.2-src.tar.gz

修改几处配置

 

第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
找到clover.license 在这儿修改就行了
第二处:
<repository>
  <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  <name>Cloudera Repositories</name>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

这个找个   <repository> 类的插在下面就行了
第三处:
<pluginRepository>
  <id>cloudera</id>
  <name>Cloudera Repositories</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</pluginRepository>

这个插入到 <pluginRepositories> 类别下面就行
第四处:
<dependency>
  <groupId>com.sun.jersey</groupId>
  <artifactId>jersey-client</artifactId>
  <version>1.19</version>
</dependency>

这个插入到    <dependencies> 类别
第五处:
<!--<module>tez-ext-service-tests</module>
<module>tez-ui</module>-->
注:将这两个注释掉,如果有需要可以不用注释

 

• 修改mapreduce的java文件

报错:tez-mapreduce编译时，报ApplicationReport.newInstance() 89行异常，使用另一个方法newInstance()方法

vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.java

return ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A",
        "N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",
        0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);
注:可以先进行编译,如果报这个错再进行修改这一步也行

• maven编译

mvn clean package -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
注:这样会跳过test编译,很快就编译完成

编译完之后到tez-dist/target 下查看

drwxr-xr-x 2 root root       10 Mar 11 14:11 archive-tmp
drwxr-xr-x 3 root root     4096 Mar 11 14:11 tez-0.9.2
drwxr-xr-x 3 root root     4096 Mar 11 14:11 tez-0.9.2-minimal
-rw-r--r-- 1 root root 13425197 Mar 11 14:11 tez-0.9.2-minimal.tar.gz
-rw-r--r-- 1 root root 68027487 Mar 11 14:11 tez-0.9.2.tar.gz

应该有这样几个包

• 整合到hdfs

1.hadoop fs -mkdir /tez
2.hadoop fs -put tez-0.9.2.tar.gz /tez

1.创建tez-site.xml
1.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib
1.2 mkdir tez
1.3  vim tez-site.xml
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/apps/tez-0.9.1/tez-0.9.1.tar.gz</value>
    </property>
    <property>
          <name>tez.use.cluster.hadoop-libs</name>
          <value>false</value>
    </property>
</configuration>
2.拷贝jar包
tez-0.9.2-minimal文件夹下的jar及lib下的jar拷贝到tez中
3.避免kryo的错误：
java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
3.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib
3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
3.3 mv hive-exec-core.jar hive-exec-core.jar.bck
注意这个一定要备份。因为这个是hive核心jar包，有可能别的地方也使用到了
4.配置hive的env配置文件
4.1 添加:HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
4.2 部署客户端配置
4.3 重启需要组件
5 将tez分配到hive所在的节点上

set hive.tez.container.size=3020;(注:根据服务器的性能适当调节)
set hive.execution.engine=tez;
然后运行selcet 之类的就是走tez引擎了

• hue使用tez

hue使用的是hive的远程连接窗口,所以在配置值得在hiveservice2的环境高级代码段配置
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
重启hive组件

 

• hue中oozie调度shell脚本,运行hive,找不到类报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/tez/runtime/api/Event

分析:oozie在调度的时候运行的是nodemanager机器上的hive环境,如果你在resourcemanager的机器上配置了tez的环境,而这两者正好不在同一台机器上,就会报这个错,跟sqoop的oracle.jar找不到一样
解决:1.在你的shell脚本的运行环境中添加你的HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*(下图1)
     2.将/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez文件夹整体发送到nodemanager所在的机器(全部,不然还是会找不到)
     3.为防止出现kryo的错误：
     java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
     得提前将nodemanager所在节点中hive的两个jar文件删除或重命名:
       3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
       3.3 mv hive-exec-core.jar hive-exec-core.jar.bck
     4.运行你的workflow

 hive使用lzo压缩后,解决tez和spark不能用的问题

1.在cdh中hive的高级配置里面,声明辅助的文件地址(也可以直接声明lzo所在的文件夹)
2.在声明的辅助文件夹的地址下,放lzo的jar包
3.在hive-env.sh的高级环境代码段填写
  HIVE_AUX_JARS_PATH=你声明的文件夹的地址
4.重启hive.