MapReduce的序列化

原创

大数据面试宝典 2021-12-24 15:17:15 博主文章分类：大数据面试 ©著作权

文章标签 hadoop mapreduce 大数据序列化反序列化 文章分类 代码人生

©著作权归作者所有：来自51CTO博客作者大数据面试宝典的原创作品，请联系作者获取转载授权，否则将追究法律责任

1．概述

序列化（Serialization）是指把结构化对象转化为字节流。

反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。

当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。

Java的序列化（Serializable）是一个重量级序列化框架，一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系…），不便于在网络中高效传输；所以，hadoop自己开发了一套序列化机制（Writable），精简，高效。不用像java对象类一样传输多层的父子关系，需要哪个属性就传输哪个属性值，大大的减少网络传输的开销。

Writable是Hadoop的序列化格式，hadoop定义了这样一个Writable接口。

一个类要支持可序列化只需实现这个接口即可。

2．Writable序列化接口

如需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为mapreduce框中的shuffle过程一定会对key进行排序,此时，自定义的bean实现的接口应该是：

public  class  FlowBean  implements  WritableComparable<FlowBean>{
/**
 * 反序列化的方法，反序列化时，从流中读取到的各个字段的顺序应该与序列化时写出去的顺序保持一致
 */
 private long upFlow;
private long downFlow;
private long sumFlow;

//这里反序列的时候会用到
public FlowBean() {
}
 /这里是序列化方法
@Override
public void write(DataOutput out) throws IOException {
      out.writeLong(upFlow);
      out.writeLong(downFlow);
      out.writeLong(sumFlow);
}
/这里是反序列化方法
@Override
public void readFields(DataInput in) throws IOException {
    //注意反序列化的顺序跟序列化的顺序一致
   this.upFlow = in.readLong();
   this.downFlow = in.readLong();
   this.sumFlow = in.readLong();

}
//这里进行bean的自定义比较大小
@Override
public int compareTo(FlowBean o) {
    //实现按照 sumflow 的大小倒序排序
    return this.sumFlow>o.getSumFlow()?-1:1;
}
}    
}