即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
转载
2023-07-12 13:57:35
324阅读
hadoop中自带wordcount代码详解wordcount代码详解package cn.chinahadoop;import java.io.IOExce
原创
2022-11-28 15:39:40
72阅读
# 使用Hadoop实现WordCount词频统计
在大数据处理领域，WordCount是一个经典的入门示例。本文将详细讲解如何使用Hadoop来实现词频统计。通过本篇文章，你可以学习到Hadoop的基本用法，以及如何编写相应的Java代码。
## 实现流程
以下是实现WordCount的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 环境准备：安装Hado
单词计数是最简单也是最能体现MapReduce思想的程序之一，该程序完整的代码可以在Hadoop安装包的src/examples目录下找到 单词计数主要完成的功能是：统计一系列文本文件中每个单词出现的次数，如图所示：
1）源代码程序package org.apache.hadoop.examples; import java.io.IOE
转载
2024-05-26 11:43:28
65阅读
Hadoop底层原理1.客户端执行hdfs fs put 本地文件系统中的文件路径 hdfs文件系统中的目录路径：hdfs fs put ./a.txt / 发送上传请求给namenode。 2.namenode根据元数据中的文件系统目录树 检测是否存在“该指定的接收上传文件的”目录，检测成功则返回成功信息给客户端。 3.客户端根据上传文件被分为多少份文件块，向namenode请求获取对应多少个d
转载
2023-10-06 20:45:17
73阅读
在一个张口闭口都是大数据云计算的今天，我们有必要思考一下，在目前主流的技术体系层面它所代表的意义是什么，期望我的博文能够给后来人一些启示，少绕一些弯路。我们还是从Hadoop生态系统进行分析：大家知道，Hadoop的两大核心就是HDFS和MapReduce，而整个Hadoop的体系结构主要是通过HDFS的分布式存储作为底层数据支持的。并且会通过MapReduce来进行计算分析。
Had
转载
2023-07-03 00:39:59
64阅读
学习目标：掌握MapReduce单词统计原理学习内容：文字描述读取的数据为hello,word,kafka,mapreduce,hadoop
hello,word,kafka,mapreduce,hadoop
hello,word,kafka,mapreduce,hadoop
hello,word,kafka,mapreduce,hadoop
hello,word,kafka,mapreduce,
转载
2023-07-21 14:49:52
181阅读
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个单词的词频统计。整个程序代码主要包括两部分：Mapper部分和Reducer部分。&nb
转载
2023-07-06 18:43:42
292阅读
Hadoop的词频统计，就相当于Ｊava的Ｈelloworld．下面就来运行这个词频统计的例子和进行源码分析．前提是已经搭好hadoop的Eclipse开发环境，具体看我的前面两篇博客．具体学习Ｈadoop实例请参考这篇文章，超级详细，Hadoop集群（第9期）_MapReduce初级案例 １，运行这个词频统计的例子第一步，在Eclipse里面新建一个Ｈadoop工程，然后点击Finish即可，
转载
2023-09-22 13:20:24
102阅读
### Hadoop
> hadoop主要包括：hdfs(存储)/MapReduce(计算)/Yarn(资源调度)
#### 1.HDFS
> **hdfs**是hadoop分布式文件存储系统，采用master/slave架构，主要包括：NameNode,DataNode,客户端
> 需要关注的原理：NN和DN之间是怎么工作联系的？NN和2NN之间的关系和联系？以及整个读写数据的流程图？
1-1
原创
精选
2021-07-10 15:34:53
1380阅读
一、概念Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop YARN：作业调度和集群资源管理的框架。Hadoop MapReduce：基于YARN的系统，用于并行处
转载
2023-07-12 11:18:37
181阅读
Hadoop 的基础知识1. Hadoop 简介2. Hadoop 的发展简史3. Hadoop 现状4. Hadoop 特性优点5. Hadoop 发行版本6. Hadoop 架构变迁7. Hadoop 集群集体概念 1. Hadoop 简介Hadoop 官网: https://hadoop.apache.org/Apache Hadoop 软件库是一个框架, 是 Apache 软件基金会的一
转载
2023-09-01 11:07:15
42阅读
Hadoop体系架构详解1 NameNode职责1.1 NameNode三大职责1.2 edits文件1.3 fsimage文件2 DataNode职责3 Se
原创
2022-07-12 13:58:50
288阅读
一、概述
1、HDFS
Hadoop Distributed File System
，简称
HDFS
，是一个分布式文件系统。
其中主要由三个部分组成：
NameNode
（nn）、DataNode(dn)、Secondary NameNode(2nn)
1 ）
NameNode
（
转载
2023-07-12 12:35:42
78阅读
一、Hadoop HA 机制的学习 1.1、Hadoop 2.X 的架构图 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上图中用的是QJM作为共享存储
转载
2024-01-08 23:11:57
67阅读
1.数据的完整性1).HDFS的数据完整性HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum字节都会创建一个单独的校验和。默认值为512字节；DataNode负责在存储数据（包括数据的校验和）之前验证它们收到的数据，其中管道线的最后一个DataNode负责验证校验和，如果此datanode检测到错误，客户端会收
转载
2023-07-31 17:23:24
77阅读
这里的快主要是指的时延。storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。说一个典型的场景，几千个日志生产方产生日志文件，需要进行一些ETL操作存入一个数据库。假设利用hadoop，则
转载
2024-06-05 15:38:32
29阅读
目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
117阅读
前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）：一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形成map输出，交给reduce，（据某篇博文说，hashcode排序使用的是快排，这个无从考证），这
转载
2023-06-01 18:10:59
135阅读
目录一：MapReduce概述1.MapReduce定义2.MapReduce优势3.MapReduce劣势二：MapReduce核心思想三：如何自定义一个map-reduce程序1.建好Hadoop集群环境2.参考官方WordCount案例3.自定义WordCount案例3.1 新建maven工程3.2 日志配置log4j2.xml3.3 编写Mapper类3.4 编写Reducer类3.5
转载
2023-09-22 07:01:24
92阅读
