这几篇文章相当于《Hadoop权威指南》的读书笔记。Hadoop是用java语言实现的，因此HDFS有很好的java接口用以编程，重点就是Hadoop的FileSystem类，它是所有文件系统的抽象类，HDFS实例（DistributedFileSystem）也是基于它实现的。本部分主要介绍如何通过使用HDFS的java接口来编写程序。
Hadoop
转载
2023-05-30 21:31:02
89阅读
申明:接下来我将从以下几个方面对Hadoop进行学习记录：是什么？如何使用？与其他的区别？是什么？Hadoop就是存储海量数据和分析海量数据的工具。Hadoop具有以下特点：Hadoop由java语言编写Hadoop通过在分布式集群上存储海量数据，并运行分布式应用的开源框架Hadoop主要由HDFS和MapReduce作为核心组件组成。其中HDFS用于存储数据，MapReduce用户计算数据注意：
转载
2023-09-20 22:43:30
43阅读
点赞
在前两篇文章中，我们已经介绍了HDFS的理论基础以及命令行的基本操作。但是，在实际中我们使用HDFS的平台时，是不可能全部进行命令行操作的。一定是要与编程结合起来进行的。所以，本篇将介绍HDFS相关的一些编程操作。Hadoop学习篇(二)——HDFS编程操作1说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。2.3 HDFS编程操作HDFS有很多常用的Java API，这里我们用Java A
转载
2023-08-18 19:18:01
89阅读
maven
hdfs
MapReduce
1. 配置maven环境2. 创建maven项目2.1 pom.xml 依赖2.2 单元测试3. hdfs文件操作3.1 文件上传和下载3.2 RPC远程方法调用4. MapReduce操作4.1 WordCount4.2 本地模式运行4.3 集群模式运行5. 封装util
转载
2024-06-17 12:32:12
84阅读
Hadoop环境搭建见前面的帖子。Hadoop下进行MapReduce见前面的帖子。我们已经知道Hadoop能够通过Hadoop jar ***.jar input output的形式通过命令行来调用，那么如何将其封装成一个服务，让Java/Web来调用它？使得用户可以用方便的方式上传文件到Hadoop并进行处理，获得结果。首先，***.jar是一个Hadoop任务类的封装，我们可以在没有jar的
转载
2024-06-01 14:54:03
124阅读
# 连接Hadoop集群的Java代码示例
Hadoop是一个用于处理大规模数据的开源框架，它可以进行分布式存储和计算。在实际应用中，我们通常会使用Java代码来连接Hadoop集群并进行数据处理操作。本文将介绍如何使用Java代码连接Hadoop集群，并提供一个简单的代码示例。
## 连接Hadoop集群
要连接Hadoop集群，我们首先需要将Hadoop的相关jar包添加到项目的依赖中。
原创
2024-06-21 05:40:10
397阅读
即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
转载
2023-07-12 13:57:35
324阅读
目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
117阅读
功能实现功能：统计文本文件中所有单词出现的频率功能。下面是要统计的文本文件【/root/hadooptest/input.txt】foo foo quux labs foo bar quux abc bar see you by test welcome testabc labs foo me python hadoop ab ac bc bec python编写Map代码Map代码，它会从标准输
转载
2023-07-24 13:16:02
106阅读
前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）：一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形成map输出，交给reduce，（据某篇博文说，hashcode排序使用的是快排，这个无从考证），这
转载
2023-06-01 18:10:59
135阅读
目录一：MapReduce概述1.MapReduce定义2.MapReduce优势3.MapReduce劣势二：MapReduce核心思想三：如何自定义一个map-reduce程序1.建好Hadoop集群环境2.参考官方WordCount案例3.自定义WordCount案例3.1 新建maven工程3.2 日志配置log4j2.xml3.3 编写Mapper类3.4 编写Reducer类3.5
转载
2023-09-22 07:01:24
92阅读
转载
2023-07-24 09:24:04
92阅读
### Hadoop如何执行Java代码
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它使用Java作为其主要编程语言，并提供了一个分布式文件系统（HDFS）和一个分布式计算框架（MapReduce）。
在Hadoop中执行Java代码需要以下几个步骤：
1. 编写MapReduce程序：MapReduce是Hadoop的核心编程模型，用于将大规模数据集分成小块，并在集群中
原创
2023-09-14 12:19:54
258阅读
HDFS的Shell命令仅能实现本地的简单文件操作任务，如果小伙伴还没有了解基本的HDFS的Shell命令操作，可以参考小编写的这篇文章Hadoop学习笔记(2)-HDFS的基本操作(Shell命令)，然而更高效的方法 是使用Java程序进行HDFS文件的访问，这篇文章就给大家介绍一下HDFS的Java编程方法。Ubuntu中下载安装Eclipse IDE的Java编程环境关于配置Java jdk
转载
2023-09-20 03:52:58
68阅读
我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。这里分为8个小部分，分别是：创建文件夹创建文件并写入内容查看文件内容重命名获取文件最后修改时间拷贝本地
转载
2023-08-18 20:33:49
101阅读
# 了解Hadoop代码
## 什么是Hadoop？
Hadoop是一个开源的分布式系统框架，用于存储和处理大规模数据集。它基于MapReduce编程模型，允许用户在集群中并行处理数据。Hadoop由两部分组成：Hadoop Distributed File System（HDFS）和Hadoop MapReduce。HDFS用于存储数据，而MapReduce用于处理数据。
## Hadoo
原创
2024-06-15 03:38:10
41阅读
首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。 其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，则能够很快地读它的源代码进行通读，并快速切入你最关注的局
转载
2023-10-19 19:51:45
42阅读
一. 前言DataTransferProtocol.write()方法给出了写操作的接口定义， 操作码是80, DataXceiver.writeBlock()则真正实现了DataTransferProtocol.writeBlock()方法。HDFS使用数据流管道方式来写数据。 DFSClient通过调用Sender.writeBlock()方法触发一个写数据块请求， 这个请求会传送到数据流管道
转载
2024-06-12 00:30:27
93阅读
文章目录1. WordCount V1.02. WordCount V2.03. 坑 搭建 Hadoop 3.1.2 windows单节点安装与使用 使用管理员身份运行IDEA添加Maven依赖，虽然hadoop-client中有hadoop-mapreduce-client-jobclient，但不单独添加，IDEA控制台日志不会打印<dependency>
<gr
目录Hadoop序列化定义为什么需要序列化为什么不用Java的序列化源码序列化案例实操-流量统计需求输入数据输出数据分析各个阶段的KV自定义对象实现序列化接口的步骤创建FlowBean对象继承接口具体代码编写Mapper部分继承Mapper编写Reducer部分运行结果 Hadoop序列化定义序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反
转载
2024-07-12 13:47:22
53阅读
