hadoop gz 压缩比 hadoop中常用的数据压缩算法

Hadoop中的MapReduce是一种编程模型，用于大规模数据集的并行运算

下面的连接是我的

MapReduce

系列博客~配合食用效果更佳！

• MapReduce 开发总结 | 内容过于精彩，别人女朋友看完都跟我跑了！

文章目录

• 一、数据压缩概述
• 二、MapReduce支持的压缩编码

• 1、压缩算法对比介绍
• 2、压缩性能对比

• 三、压缩方式的选择
• 四、压缩位置选择
• 五、压缩参数配置
• 六、压缩案例实操

• 1、Map端采用压缩
• 2、Reduce端采用压缩

---

一、数据压缩概述

压缩的好处和坏处：

• 压缩的优点：减少磁盘IO、减少磁盘存储空间
• 压缩的缺点：增加CPU开销

压缩原则：

• 运算密集型的Job，少用压缩
• IO密集型的Job，多用压缩

二、MapReduce支持的压缩编码

1、压缩算法对比介绍

2、压缩性能对比

还有一个压缩算法Snappy，它的压缩速度在250MB/s，解压速度在500MB/s

三、压缩方式的选择

压缩方式选择时重点考虑：压缩/解压速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片

• Gzip压缩：

• 优点：压缩率比较高
• 缺点：不支持Split；压缩/解压速度一般

• Bzip2压缩：

• 优点：压缩率高；支持Split
• 缺点：压缩/解压速度慢

• Lzo压缩：

• 优点：压缩/解压速度比较快；支持Split
• 缺点：压缩率一般；想支持切片需要额外创建索引

• Snappy压缩：

• 优点：压缩和解压缩速度块
• 缺点：不支持Split；压缩率一般

四、压缩位置选择

压缩可以在MapReduce作用的任意阶段启用

五、压缩参数配置

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器：

要在Hadoop中启用压缩，可以配置如下参数：

六、压缩案例实操

1、Map端采用压缩

只需要在Driver类写下面的代码就好了：

// 开启 map 端输出压缩
conf.setBoolean("mapreduce.map.output.compress", true);
// 设置 map 端输出压缩方式
conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);

Mapper和Reducer保持不变

2、Reduce端采用压缩

只需要在Driver类写下面的代码就好了：

// 设置 reduce 端输出压缩开启
FileOutputFormat.setCompressOutput(job, true);
// 设置压缩的方式
FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);

Mapper和Reducer保持不变，在这里配置输出结果也是压缩包