Mapreduce

mapreduce通俗理解

举个例子，我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。简单来说，Map就是“分”而Reduce就是“合” 。

job map reduce task

map 输入的键值对会被转换成零到多个键值对输出。

Reducer最终会产生一个键值对

Hadoop会监控每一个task确保其成功完成，并重启一些失败的task

过程

  1. 客户端启动一个job
  2. 向JobTracker请求一个JobID 也是文件夹的名称
  3. 将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息,输入划分信息告诉JobTracker应该为这个作业启动多少个map任务等信息。
  4. map任务不是随便分配给某个TaskTracker的，Data-Local（数据本地化）将map任务分配给含有该map处理的数据库的TaskTracker，但是分配reducer任务时不考虑数据本地化
  5. TaskTracker每隔一段时间给JobTracker发送一个Heartbeat告诉JobTracker它仍然在运行,心跳还携带很多比如map任务完成度等信息
  6. 当JobTracker收到作业的最后一个任务完成信息时，便把作业设置成“成功”，JobClient再传达信息给用户

细节注意

Map就是“分”而Reduce就是“合” ：(input) ->map-> ->combine-> ->reduce-> (output)

MapReduce 框架只操作键值对

每个map任务可以细分4个阶段：record reader、mapper、combiner和partitioner

demo:
<0,hello you> <10,hello me>
<hello,1><you,1><hello,1><me,1>
<hello,1><hello,1><me,1> <you,1>
<hello,{1,1}><me,{1}><you,{1}>

reduce任务可以分为4个阶段：混排（shuffle）、排序（sort）、reducer和输出格式（output format）

demo:
<hello,2><me,1><you,1>

优化MapReduce

Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率

mapreduce经典案例 mapreduce举例说明_mapreduce经典案例

  1. Combiner
    Combiner的好处
  • 能够减少Map-Task输出的数据量（即磁盘IO）
  • 能够减少Reduce-Map网络传输的数据量（网络IO）

Combiner 的使用场景

  • 并不是所有的场景都可以使用Combiner
  • 适合于Sum()求和 最大 最小等
  1. Partitioner
    作用
  • Partitioner决定了Map Task 输出的每条数据交给哪个Reduce Task 来处理

默认实现

  • Partitioner 的默认实现：hash(key) mod R，这里的R代表Reduce Task 的数目，意思就是对key进行hash处理然后取模