1、模板代码，只要替换成自己写的Mapper和Reducer等等就行了public static void main(String[] args) throws Exception{
int exit = ToolRunner.run(new Configuration(), new WCRunner(), args);
System.exit(exit);
转载
2023-08-21 09:29:12
106阅读
功能实现功能：统计文本文件中所有单词出现的频率功能。下面是要统计的文本文件【/root/hadooptest/input.txt】foo foo quux labs foo bar quux abc bar see you by test welcome testabc labs foo me python hadoop ab ac bc bec python编写Map代码Map代码，它会从标准输
转载
2023-07-24 13:16:02
106阅读
目录一：MapReduce概述1.MapReduce定义2.MapReduce优势3.MapReduce劣势二：MapReduce核心思想三：如何自定义一个map-reduce程序1.建好Hadoop集群环境2.参考官方WordCount案例3.自定义WordCount案例3.1 新建maven工程3.2 日志配置log4j2.xml3.3 编写Mapper类3.4 编写Reducer类3.5
转载
2023-09-22 07:01:24
92阅读
前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）：一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形成map输出，交给reduce，（据某篇博文说，hashcode排序使用的是快排，这个无从考证），这
转载
2023-06-01 18:10:59
135阅读
即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
转载
2023-07-12 13:57:35
324阅读
目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
117阅读
目录Hadoop序列化定义为什么需要序列化为什么不用Java的序列化源码序列化案例实操-流量统计需求输入数据输出数据分析各个阶段的KV自定义对象实现序列化接口的步骤创建FlowBean对象继承接口具体代码编写Mapper部分继承Mapper编写Reducer部分运行结果 Hadoop序列化定义序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反
转载
2024-07-12 13:47:22
53阅读
一. 前言DataTransferProtocol.write()方法给出了写操作的接口定义， 操作码是80, DataXceiver.writeBlock()则真正实现了DataTransferProtocol.writeBlock()方法。HDFS使用数据流管道方式来写数据。 DFSClient通过调用Sender.writeBlock()方法触发一个写数据块请求， 这个请求会传送到数据流管道
转载
2024-06-12 00:30:27
93阅读
在前两篇文章中，我们已经介绍了HDFS的理论基础以及命令行的基本操作。但是，在实际中我们使用HDFS的平台时，是不可能全部进行命令行操作的。一定是要与编程结合起来进行的。所以，本篇将介绍HDFS相关的一些编程操作。Hadoop学习篇(二)——HDFS编程操作1说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。2.3 HDFS编程操作HDFS有很多常用的Java API，这里我们用Java A
转载
2023-08-18 19:18:01
89阅读
其实这个流程里面有很多我们值得学习的东西，比如写数据到 DataNode，如何保障数据一致性，如何保障数据在写的时候不丢失，重试如何做的，如何做三备份的？那么这次咱就趴一趴 HDFS 的写数据流程吧。二、往 HDFS 写数据的客户端代码我们用 HDFS 的 api ，从一个写数据的代码开始剖析这个过程：public class TestWriteHdfsFile {
public sta
转载
2023-07-12 11:19:46
58阅读
首先准备jar包，如果是想编写关于操作hdfs的代码需要引入hadoop/share目录下的包/root/training/hadoop-3.1.2/share/hadoop/common/*.jar/root/training/hadoop-3.1.2/share/hadoop/common/lib/*.jar/root/training/hadoop-3.1.2/share/hadoop/hd
转载
2023-10-22 10:07:48
65阅读
hadoop命令今天是春节前最后一天上班，先祝大家新年快乐。今天依然坚守一线，闲着没事，整理一下之前学习hadoop代码的一些笔记，就先说说hadoop命令的执行过程吧。不知道有没有人想过【hadoop fs –ls /】这句我们使用频率极高的命令到底是怎么实现的。下面我们就抽丝剥茧，一步步分析它的执行过程。首先，我们下载源码后找到下面这个路径，因为这个路径就存着hadoop命令本尊。hadoop
转载
2023-07-20 17:11:17
110阅读
一、mapreduce作业运行过程1.1、mapreduce介绍MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，
转载
2023-07-21 14:51:07
118阅读
1.配置CLASSPATH编辑~/.bashrc文件sudo gedit ~/.bashrc在最后加入：CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/sha
转载
2023-06-22 00:18:26
170阅读
hadoop的WordCount案例前言1、MapReduce编程模型2、MapReduce处理过程3、内置数据类型介绍WordCount案例(统计文本的单词个数)1、说明2、Mapper类代码3、Reducer类代码4、Driver类代码5、运行后打开mr01/part-r-00000查看结果另：打成jar去linux当中测试在pom.xml当中加入如下内容项目打包指定主类生成jar包上传到L
转载
2023-07-24 10:30:13
286阅读
前言 前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。
一、作业的默认配置 MapReduce程序的默认配置 1）概述 在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不用写。 我们的一个MapReduce程序一定会有Mapper和Reducer，但是我们
转载
2023-07-12 02:25:36
143阅读
ansible部署hadoop及插件
原创
2018-04-17 22:54:35
10000+阅读
点赞
1评论
hadoop的shuffle分为两个阶段map端的shuffle：Sort、Spill、Merge1、来一个输入分片，分配一个map任务来处理，默认以一个HDFS块的大小(64M)为一个分片，把数据首先放到内存中的一个缓冲区，做一些预排序，提升效率；2、每个map任务都有一个内存缓冲区(默认100M)，当缓冲区数据量达到特定阈值是(默认80%)，缓冲区内容会写磁盘(spill阶段)，Map写缓冲区
转载
2023-05-22 14:54:29
16阅读
Hadoop 3.x（MapReduce）----【MapReduce 概述】1. MapReduce定义2. MapReduce优缺点1. 优点2. 缺点3. MapReduce核心思想4. MapReduce进程5. 官方WordCount源码6. 常用数据序列化类型7. MapReduce编程规范1. Mapper阶段2. Reducer阶段3. Driver阶段8. WordCount案
转载
2024-10-01 12:37:09
129阅读
SQL on HadoopApache HiveHive是原始的SQL-on-Hadoop解决方案。它是一个开源的Java项目，能够将SQL转换成一系列可以在标准的Hadoop TaskTrackers上运行的MapReduce任务。Hive通过一个metastore（本身就是一个数据库）存储表模式、分区和位置以期提供像MySQL一样的功能。它支持大部分MySQL语法，同时使用相似的 databa
转载
2023-09-22 13:02:59
69阅读
