1、下载相关parcel

网址:http://archive.cloudera.com/gplextras5/parcels/5.16.2/

GPLEXTRAS-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1无法下载,将里面内容粘贴出来手动创建对应文件复制进去

 CDH 5.16.2配置lzo压缩_属性值

2、配置包到cloudera-manager共享目录

因为使用的是parcels安装,首先将下载好的文件放到cloudera-manager共享的目录中,此处为:

 CDH 5.16.2配置lzo压缩_cloudera_02

3、安装lzo服务

Cloudera-manager控制页面,主机->parcel->检查新Parcel,如果配置正确,则出现如下界面:

 CDH 5.16.2配置lzo压缩_hadoop_03

分配,激活后会出现如下界面:

 CDH 5.16.2配置lzo压缩_hadoop_04

4、修改配置集群的lzo服务

4.1 修改HDFS配置

在io.compression.codecs属性值中追加如下值:

com.hadoop.compression.lzo.LzoCodec

com.hadoop.compression.lzo.LzopCodec

如下图所示:

 CDH 5.16.2配置lzo压缩_cloudera_05

4.2 修改YARN配置

将mapreduce.application.classpath的属性值增加一项:/opt /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

如下图所示:

 CDH 5.16.2配置lzo压缩_cloudera_06

4.3 修改MR应用程序环境

修改mapreduce.admin.user.env的属性值,增加一项:

/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native,如下图所示:

 CDH 5.16.2配置lzo压缩_cloudera_07

4.4 修改Hive

 CDH 5.16.2配置lzo压缩_cloudera_08

4.5 重启集群