文章目录

  • Hadoop 序列化
  • 一、序列化概述
  • 1、什么事序列化
  • 2、为什么要序列化
  • 3、为什么不用Java的序列化
  • 二、自定义bean对象实现序列化接口


Hadoop 序列化

一、序列化概述

1、什么事序列化

序列化就是把内存中的对象，转换成字节序列(或其它数据传输协议)以便于存储到磁盘(持久化)和网络传输
反序列化就是将收到字节序列(或其它数据传输协议)或者是磁盘的持久化数据，转换成内存中的对象

2、为什么要序列化

一般来说，“活的“对象只生存在内存里，关机断电就没有了。而且”活的“对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储”活的“对象，可以将”活的“对象发送到远程计算机

3、为什么不用Java的序列化

Java的序列化是一个重量级序列化框架(Seriaalizable)，一个对象被序列化后，会附带很多额外的信息(各种校验信息，Header，继承体系等)，不便于在网络中高效的传输，所以Hadoop自己开发了一套序列化机制(Writable)
Hadoop 序列化特点：

  1. 紧凑：高效使用存储空间
  2. 快速：读写数据的额外开销小
  3. 可扩展：随着通信协议的升级而可升级
  4. 互操作：支持多语言的交互

二、自定义bean对象实现序列化接口

在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口
具体实现bean对象序列化步骤如下7步：
前面六步实现了就能实现序列化了

  1. 必须实现Writable接口
  2. 反序列化时，需要反射调用空参构造函数，所以必须有空参构造
    空参构造在序列化的时候需要反射有用，它是系统调用的，默认给它一个就行了，这是固定的格式
public FlowBean(){
	super();
}
  1. 重写序列化方法
@Override
 public void write(DataOutput out) throws IOException{
 	out.writeLong(upFlow);
 	out.writeLong(downFlow);
 	out.writeLong(sumFlow);
 }
  1. 重写反序列化方法
@Override
 public void readFileds(Datainput in) throws IOException{
 	upFlow = in.readLong();
 	downFlow = in.readLong();
 	sumFlow = in.readLong();
 }
  1. 注意反序列化的顺序和序列化的顺序完全一致
  2. 要想把结果显示在文件中，需要重写toString()，可以用"\t"分开，方便后续用
  3. 如果需要将自定义的bean放在key中传输，则还需要实现Comparabe接口，因为MapReduce框中的Shuffle过程要求对key必须能排序，详情见后面的排序案例