大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.
原创
2015-06-05 17:22:53
778阅读
Thanks @读程序的手艺人
转载
2016-03-06 17:07:00
97阅读
2评论
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l &nbs
原创
2015-05-22 10:59:22
624阅读
MapReduce机制原理1、MapReduce概述2、MapReduce特点3、MapReduce局限性4、Map Task5、Map 阶段步骤：6、Reduce 阶段步骤：7、Map Reduce 阶段图 1、MapReduce概述 Hadoop MapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据
转载
2023-08-31 10:17:02
79阅读
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了Hadoop
MapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的Map
原创
2015-05-25 14:36:24
392阅读
Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。 Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已
原创
2015-06-04 17:35:28
495阅读
http://svn.apache.org/repos/asf/hadoop/
原创
2022-07-19 11:28:35
67阅读
前言 MapReduce该分析是基于源代码Hadoop1.2.1代码分析进行的基础上。 该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是怎样处理map之后的collect输出的数据。map端的主要处理流程图1 MapTask处理流程 图1所看到的为MapTask...
转载
2015-10-01 18:46:00
101阅读
2评论
LocatedFileStatusFetcher是MapReduce中一个针对给定输入路径数组，使用配置的线程数目来获取数据块位置的有用类。它的主要作用就是利用多线程技术。每一个线程相应一个任务。每一个任务针对给定输入路径数组Path[]，解析出文件状态列表队列BlockingQueue<List<
原创
2022-01-10 15:50:28
84阅读
2021SC@SDUSC1.Hadoop配置信息处理1.1 Windows 操作系统的配置文件Windows 系统广泛使用一种特殊化的 ASCII 文件（以“ini”为文件扩展名）作为它的主要配置文件标准。INI文件被称为初始化文件（Initialization File）或概要文件（profile）。应用程序可以拥有自己的配置文件，存储应用的设置信息，也可以访问 Windows 的基本
转载
2024-10-15 08:29:31
17阅读
本节介绍两种调试Hadoop源代码的方法：利用Eclipse远程调试工具和打印调试日志。这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的Hadoop。本节主要介绍伪分布式工作模式下的Hadoop调试方法。（1）利用Eclipse进行远程调试下面以调试ResourceManager为例，介绍利用Eclipse远程调试的基本方法，这可分两步进行。步骤1 调试模式下启动Hadoop。在Had
原创
2015-03-29 11:37:46
1374阅读
关键字: 分布式云计算
Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.com/papers/chubby.html GFS：http://labs.go
转载
2021-08-18 10:06:57
318阅读
1.概述 在完成分析Hadoop2源码的准备工作后，我们进入到后续的源码学习阶段。本篇博客给大家分享，让大家对Hadoop V2有个初步认识，博客的目录内容如下所示：Hadoop的渊源Hadoop V2部分项目图各个包的功能介绍 本篇文章的源码是基于Hadoop-2.6.0来分析，其他版本的Hadoop的源码可以此作为参考分析。2.Hadoop的渊源 其实，早年Google的核心竞争力是它的
转载
2024-02-23 11:23:18
30阅读
Avro Source
监听Avro端口并从外部Avro客户端流接收事件。
转载
2023-05-25 22:34:26
89阅读
在网上看到了很多此文章的装载，但是都是纯文字，这篇文章在没有图片的情况下阅读起来意义不大了。花了点时间上传了100多张图片，希望对大家学习hadoop有帮助。Hadoop源代码分析（一）关键字: 分布式 云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：
转载
2023-09-13 23:40:49
39阅读
Hadoop源代码学习（完整版） Hadoop源代码分析（一）
Hadoop
Mapreduce
Google
HBase
Facebook
经济不行啦，只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleClu
转载
2024-05-23 12:29:51
24阅读
第1章 MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 MapReduce优缺点1.2.1 优点MapReduce 易于编程 它简单的实现一些接口，
转载
2024-07-09 10:58:26
18阅读
数据去重： 原理(理解)：Mapreduce程序首先应该确认<k3,v3>,根据<k3,v3>确定<k2,v2>，原始数据中出现次数超过一次的数据在输出文件中只出现一次。Reduce的输出是不重复的数据，也就是每一行数据作为key，即k3。而v3为空或不需要设值。根据<k3，v3>得到k2为每一行的数据，v2为
转载
2023-07-12 13:36:45
379阅读
Hadoop权威指南:MapReduce应用开发目录Hadoop权威指南:MapReduce应用开发一般流程用于配置的API资源合并使用多个资源定义配置可变的扩展配置开发环境用MRUnit来写单元测试关于MapperMaxTemperatureMapper的单元测试运行关于ReducerMaxTemperatureReducer的单元测试在集群上运行客户端的类路径任务的类路径用户任务的类路径有以下
转载
2023-08-13 14:49:45
115阅读
谈谈MapReduce的概念、Hadoop MapReduce和Spark基于MR的实现什么是MapReduce？MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。有以下几个特点：分而治之，并行处理。抽象了map和reduce的计算流程，对于分布式存储的数据可以并行的进行map处理，之后在reduce端对map结果进行汇总。移动计算而非移动数据。数据的计算传输需要大
转载
2024-01-15 21:14:19
123阅读
