隔壁小白的博客_MapReduce

压缩

原创 2019-10-29 10:38:31 859 阅读

十六、MapReduce--调优

[TOC]一、MapReduce跑得慢的原因1）计算机性能CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案MapReduce优化方法主要从几

MapReduce调优

原创 2019-10-26 13:59:33 1923 阅读

十五、MapReduce--自定义output输出

我们要自定义输出时，首先继承两个抽象类，一个是OutputFormat，一个是RecordWriter。前者是主要是创建RecordWriter，后者就是主要实现write方法来将kv写入文件。1、需求将reduce输出的KV中，如果key中包含特定字符串，则将其输出到一个文件中，剩下的KV则输出到另外的文件中。2、源码源数据http://cn.bing.comhttp://www.baidu.c

自定义output输出

原创 2019-10-24 18:34:28 1153 阅读

十四、MapReduce--OutputFormat和RecordWriter抽象类

一、基本原理reduce执行完毕之后，每个reduce都会将KV输出到一个文件中。那么KV输出到文件中时是以什么格式输出的呢？这就涉及到两个抽象类：OutputFormat和RecordWriter。1、OutputFormatpublicabstractclassOutputFormat<K,V>{publicOutputFormat(){}publicabstractRecord

OutputFormat

RecordWrtier

原创 2019-10-24 18:32:02 595 阅读

十三、MapReduce--output输出源码分析

当reducetask执行完成后，就会将结果的KV写入到指定路径下。下面分析这个output过程。1、首先看ReduceTask.run()这个执行入口//--------------------------ReduceTask.javapublicvoidrun(JobConfjob,TaskUmbilicalProtocolumbilical)throwsIOException,Interru

MapReduce中output源码分析

原创 2019-10-24 18:27:03 644 阅读

十二、MapReduce--mapjoin和reducejoin

一、mapjoin1、适用场景：一张表很大，一张表很小2、解决方案：在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端的数据压力，尽可能减少数据倾斜。3、具体方法：采用分布式缓存（1）在mapper的setup阶段，将文件读取到缓存集合中（2）在driver中加载缓存，job.addCacheFile(newURI("file:/e:/mapjoincach

mapjoin

reducejoin

原创 2019-10-24 18:24:29 462 阅读

十一、MapReduce--自定义Input输入

在“MapReduce--input之输入原理”中说到实现定义输入的方法，其实就是继承InputFormat以及RecordReader实现其中的方法。下面例子讲解操作。1、需求将多个文件合并成一个大文件（有点类似于combineInputFormat），并输出。大文件中包括小文件所在的路径，以及小文件的内容。2、源码inputFormatpublicclassSFileInputFormatex

自定义input输入

原创 2019-10-24 18:22:27 433 阅读

十、MapReduce--InputFormat以及RecordReader抽象类

一、基本原理在map执行之前，需要将数据进行切片，每个切片对应一个map任务。而每个map任务并不是直接处理这些切片数据的，它是处理KV的。所以问题有两个：数据是如何切片的、切片是如何转为KV给map处理的。这就涉及到两个抽象类，InputFormat以及RecordReader。具体为什么是这两个抽象类，请看之前input的源码分析1、InputFormatpublicabstractcla

InputFormat

RecordReader

原创 2019-10-24 18:18:12 395 阅读

九、MapReduce--input源码分析

当job提交至yarn之后，就会开始调度运行map任务，这里开始讲解map输入的源码分析。一个map任务的入口就是MapTask.class中的run()方法1、首先看看MapTask.run()方法MapTask.class//---------------------------------MapTask.javapublicvoidrun(JobConfjob,TaskUmbilicalPr

MapReduce的input源码分析

原创 2019-10-24 18:16:24 601 阅读

八、MapReduce--job提交源码分析

一、源码分析1、提交job的入口通过job.waitForCompletion(true)完成job的提交以及运行，下面从这个方法入手分析源码。//-----------------job.javapublicbooleanwaitForCompletion(booleanverbose)throwsIOException,InterruptedException,ClassNotFoundExc

MapReduce的job任务提交源码

分析

原创 2019-10-24 16:36:59 650 阅读

七、yarn基本原理

[TOC]一、Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x中，MapReduce中本身负责资源的调度以及业务逻辑运算，耦合度较大，而且当时只支持MapReduce一个框架。在Hadoop2.x中，增加了yarn，专门负责资源的调度，MapReduce只负责业务逻辑运算，而且yarn之上可以运算其他的分布式计算框架，如spark等。二、yarn基本架构图2.1yarn基本

yarn基本原理

原创 2019-10-24 12:45:36 960 阅读

六、MapReduce排序例子--获取价格最高的商品信息

1、需求获取每个订单中最贵的商品用到的知识点：自定义排序，包括普通排序，二次排序，分组排序自定义分区2、数据输入和输出格式数据输入格式：每个已售商品一条记录订单id商品id商品价格0000001Pdt_01222.80000002Pdt_06722.40000001Pdt_0525.80000003Pdt_01222.80000003Pdt_0133.80000002Pdt_03522.80000

MapReduce获取价格最高商品

原创 2019-10-24 12:44:18 907 阅读

五、MapReduce普通排序例子--统计手机号流量

1、需求统计每一个手机号的总流量（上行流量+下行流量）、上行流量、下行流量，并且最后按照总流量进行手机号的排序。**2、数据输入及输出格式源数据比较敏感，这里就不展示出来了输入格式为：时间戳、电话号码、基站的物理地址、访问网址的ip、网站域名、数据包、接包数、上行/传流量、下行/载流量、响应码分隔符为“\t”输出格式为：手机号码上行流量下行流量总流量并且根据总流量的大小进行排序3、思路分析map阶

MapReduce普通排序

统计手机号流量

原创 2019-10-24 12:39:54 1594 阅读

四、MapReduce中的排序

一、排序概述1、在MapReduce的shuffle过程中执行了三次排序，分别是：map的溢写阶段：根据分区以及key进行快速排序map的合并溢写文件：将同一个分区的多个溢写文件进行归并排序，合成大的溢写文件reduce输入阶段：将同一分区，来自不同maptask的数据文件进行归并排序2、在MapReduce整个过程中，默认是会对输出的KV对按照key进行排序的，而且是使用快速排序。map输出的排

MapReduce中的排序

原创 2019-10-24 12:30:36 10000+阅读

三、MapReduce的shuffle工作过程

[TOC]一、基本流程1、流程map端：1)假设有两个maptask并行运行。2）每个maptask任务处理完成后，会通过收集器collector，将输出结果存入一个环形缓冲区中。3）环形缓冲区工作原理：1>环形缓冲区默认大小为100M，可以配置mapred-site.xml:mapreduce.task.io.sort.mb来配置大小2>环形缓冲区阈值为80%，超过就会开始spill

MapReduce的shuffle原理

原创 2019-10-24 12:29:25 3063 阅读

二、MapReduce基本编程规范

[TOC]一、MapReduce编程基本组成编写MapReduce的程序有至少三个必不可少的部分：mapper，reducer，driver。可选的有partitioner，combiner而且mapper的输入输出、reducer的输入输出都是keyvalue型的，所以要求我们在编写mapper和reducer时，必须实现明确这4个键值对中的8种数据类型，而且必须还是hadoop的可序列化类型。

MapReduce编程规范

原创 2019-10-24 12:28:07 504 阅读

一、MapReduce基本原理

一、MapReduce基本概述1、定义是一个分布式运算程序编程框架。核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式程序，并发运行在一个hadoop集群上。2、优缺点（1）优点1>易于编程：以普通程序的编程方法加上使用MapReduce提供的接口，可以快速完成分布式程序的编写。2>良好的扩展性：计算资源得不到满足时，可以通过简单的增加计算机器来扩展计算能力3&g

MapReduce基本原理

MapReduce架构

切片、分区原理以及源码分析

原创 2019-10-17 23:27:45 3486 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

KingLab

十七、hadoop压缩相关