文件压缩带来了两大益处1）减少存贮空间2)加速网络(磁盘）传输。基于大数据的传输，都需要经过压缩处理。
压缩格式
压缩格式 | 工具 | 算法 | 文件扩展名 | 可分块 |
DEFLATE | N/A | DEFLATE | .deflate | No |
gzip | gzip | DEFLATE | .gz | No |
bzip2 | bzip2 | bzip2 | .bz2 | Yes |
LZO | lzop | LZO | .lzo | No |
Snappy | N/A | Snappy | .snappy | No |
压缩及解压缩
文件解压实例
package com.bigdata.io;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
public class FileDecompressor {
public static void main(String[] args) throws IOException {
String uri = args[0];
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri),conf);
Path inputPath = new Path(uri);
CompressionCodecFactory factory = new CompressionCodecFactory(conf);
// io.compression.codecs 定义列表中的一个
CompressionCodec codec = factory.getCodec(inputPath);
if(null == codec){
System.err.println("No codec for " + uri);
System.exit(-1);
}
String outputUri = CompressionCodecFactory.removeSuffix(uri, codec.getDefaultExtension());
InputStream in = null;
OutputStream out = null;
try{
in = codec.createInputStream(fs.open(inputPath));
out = fs.create(new Path(outputUri));
IOUtils.copyBytes(in, out, conf);
}finally{
IOUtils.closeStream(in);
IOUtils.closeStream(out);
}
}
}$hadoop jar stream.jar com.bigdata.io.FileDecompressor test.txt.gz
12/06/14 09:48:28 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/06/14 09:48:28 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native Libraries
Native gzip 库减少解压缩时间在50%，压缩时间在10%(同java实现的压缩算法)
禁用Native Library , 需要设置属性hadoop.native.lib 为 false
package com.bigdata.io;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CodecPool;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.Compressor;
import org.apache.hadoop.util.ReflectionUtils;
public class PooledStreamCompressor {
public static void main(String[] args) throws ClassNotFoundException {
String codecClassName = args[0];
Class<?> codecClass = Class.forName(codecClassName);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
Compressor compressor = null;
try {
compressor = CodecPool.getCompressor(codec);
CompressionOutputStream out = codec.createOutputStream(System.out, compressor);
IOUtils.copyBytes(System.in, out,4096,false);
out.finish();
} catch (IOException e) {
e.printStackTrace();
}finally{
CodecPool.returnCompressor(compressor);
}
}
}
echo "Text" | hadoop jar stream.jar com.bigdata.io.PooledStreamCompressor org.apache.hadoop.io.compress.GzipCodec | gunzip -
12/06/14 10:57:49 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/06/14 10:57:49 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
12/06/14 10:57:49 INFO compress.CodecPool: Got brand-new compressor
Text
使用压缩格式规则
压缩格式的使用取决于你的应用程序。你想最大化您的应用程序的速度，或者是你更关注关于保持存储成本下降？在一般情况下，你应该尝试不同的策略,根据数据集和基准测试,找到最好的办法。
对于大文件，如日志文件，选项有：
1.存储成非压缩格式
2.使用一个支持块分割的压缩格式，比如bzip2(当然bzip2比较慢)或者可以使用LZO（被索引后支持块分割)
3.把应用分割成大快，每个大快可以支持任意的压缩格式（不用关心在HDFS中是否可以分割）。在这种情况，你需要计算一下你的压缩后的尺寸，要同HDFS Block的大小相匹配
4.使用Sequence 文件，支持压缩及分块
5.使用Avro数据文件，支持压缩及分块，就像Sequence文件，但比Sequence要更高级，可以被多种语言支持
对于大文件，你不应该使用不支持分块的压缩。因为，你失去了地方，使MapReduce应用非常没有效率
为了归档目的，考虑Hadoop 归档格式，虽然他不支持压缩。
MapReduce中使用压缩
步骤：
1.设置mapred.output.compress=true
2.设置mapred.output.compression.codec=the classname of the above list
或者
FileOutputFormat.setCompressOutput(job,true)
FileOutputFormat.setOutputCompressorClass(job,GzipCodec.class)
public class MaxTemperatureWithCompression {
public static void main(String[] args) throws Exception {
if (args.length != 2) {
System.err.println("Usage: MaxTemperatureWithCompression <input path> " +
"<output path>");
System.exit(-1);
}
Job job = new Job();
job.setJarByClass(MaxTemperature.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileOutputFormat.setCompressOutput(job, true);
FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);
job.setMapperClass(MaxTemperatureMapper.class);
job.setCombinerClass(MaxTemperatureReducer.class);
job.setReducerClass(MaxTemperatureReducer.class);System.exit(job.waitForCompletion(true) ? 0 : 1); } }
对于SequenceFile格式
默认压缩类型是RECORD,建议更改为BLOCk,压缩一组record
SqeuenceFileOutputFormat.setOutputCompressionType()设置这个压缩类型
MapReduce压缩属性汇总
Property name | Type | Default value | Description |
mapred.output.compress | boolean | false | Compress outputs |
mapred.output.compression.codec | Class name | org.apache.hadoop.io.compress.DefaultCodec | The compression codec to use for outputs |
mapred.output.compression.type | String | RECORD | Type type of compression to use for SequenceFile outputs:NONE,RECORD,or BLOCK. |
Map阶段压缩输出（即中间结果是否压缩）
建议使用性能比较好的LZO、Snappy
Map 输出压缩属性汇总
Property name | Type | Default value | Description |
mapred.compress.map.output | boolean | false | Compress map outputs |
mapred.map.output.compression.codec | Class | org.apache.hadoop.io.compress.DefaultCodec | The compression codec to use for map outputs. |
Map阶段使用压缩样例
Configuration conf = new Configuration();
conf.setBoolean("mapred.compress.map.output", true);
conf.setClass("mapred.map.output.compression.codec", GzipCodec.class,
CompressionCodec.class);
Job job = new Job(conf);
