关闭HDFS中的权限检查:dfs.permissions。

cdh中配置hadoop支持LZO_Hadoop学习

配置Hadoop支持LZO压缩

点击主机,在下拉菜单中点击Parcel,默认是没有的,再点击右上角的配置找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入http://archive.cloudera.com/gplextras/parcels/latest/,之后点击保存更改

cdh中配置hadoop支持LZO_Hadoop学习_02

返回Parcel列表,可以看到多出了LZO,选择下载,下载完成后选择分配,分配完成后选择激活。
cdh中配置hadoop支持LZO_Hadoop学习_03

安装完LZO后,打开HDFS配置,找到“压缩编码解码器”一栏,点击加号,添加com.hadoop.compression.lzo.LzopCodec后保存更改

cdh中配置hadoop支持LZO_Hadoop学习_04
打开YARN配置,找到MR 应用程序 Classpath,添加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar

cdh中配置hadoop支持LZO_Hadoop学习_05

更新过期配置,重启进程

cdh中配置hadoop支持LZO_Hadoop_06
会把相关需要重启的都重启