1:应用场景
1: 海量数据在单机上处理因为硬件资源限制,无法胜任
2:而一旦将单机版程序扩展到集群上分布式运行,将极大增加程序复杂和开发难度
3:引入MapReduce程序后,开发人员可以将绝大部分工作集中在业务逻辑的开发上,而将分布式计算中的复杂性交由框架来处理.
分布式:
1:文件分布式存储HDFS
2:运算逻辑需要至少分成两个阶段(一个阶段独立开发,一个阶段汇聚);
3:运算程序如何分发
4:程序如何分配运算任务(切片)
5:两个阶段的程序如何启动,如何协调;
6:整个程序运行过程中的监控,容错,重试
2:Mapreduce框架结构和核心运行机制
一个完整的MapReduce程序在分布式运行时有三类实例进程;
1:MRAppMaster: 负责整个程序的过程调度和状态协调
2:MapTask: 负责map阶段整个数据处理流程
3:ReduceTask 负责reduce阶段的整个数据处理流程
3:MapReduce的流程图
1:分布式运算程序需要分成至少两个阶段
1:第一阶段的map task并发实例各司其职,互不相干,完全并行,把输入的input分解成中间的key-value对
2:第二阶段的reduce task并发实例互不相干,但是他们的数据依赖于上一个阶段的所有的task并发实例的输出,reduce把key-value合成最终输出output
3:MapReduce编程模型只能包含一个map阶段和一个reduce阶段,如果用户的业务逻辑非常复杂,那就只能拿多个MapReduce程序,串行运行
2:统计流程
1:读取英文单词数据;
2:按行进行处理数据;
3:按空格分隔行内单词;
4:hashmap统计单词个数(找到相同的就value+1),等分到自己的数据片完全切完之后;
5:将hashmap按照首字母分为若干个区间(比如A-LM-T,U-Z);
6:将若干个hashmap分别传到对应的reduce task
1、 一个mr程序启动的时候,最先启动的是MRAppMaster,MRAppMaster启动后根据本次job的描述信息,计算出需要的maptask实例数量,然后向集群申请机器启动相应数量的maptask进程
2、 maptask进程启动之后,根据给定的数据切片范围进行数据处理,主体流程为:
a) 利用客户指定的inputformat来获取RecordReader读取数据,形成输入KV对
b) 将输入KV对传递给客户定义的map()方法,做逻辑运算,并将map()方法输出的KV对收集到缓存
c) 将缓存中的KV对按照K分区排序后不断溢写到磁盘文件
3、 MRAppMaster监控到所有maptask进程任务完成之后,会根据客户指定的参数启动相应数量的reducetask进程,并告知reducetask进程要处理的数据范围(数据分区)
4、 Reducetask进程启动之后,根据MRAppMaster告知的待处理数据所在位置,从若干台maptask运行所在机器上获取到若干个maptask输出结果文件,并在本地进行重新归并排序,然后按照相同key的KV为一个组,调用客户定义的reduce()方法进行逻辑运算,并收集运算输出的结果KV,然后调用客户指定的outputformat将结果数据输出到外部存储