前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）：一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形成map输出，交给reduce，（据某篇博文说，hashcode排序使用的是快排，这个无从考证），这
转载
2023-06-01 18:10:59
116阅读
首先准备jar包，如果是想编写关于操作hdfs的代码需要引入hadoop/share目录下的包/root/training/hadoop-3.1.2/share/hadoop/common/*.jar/root/training/hadoop-3.1.2/share/hadoop/common/lib/*.jar/root/training/hadoop-3.1.2/share/hadoop/hd
转载
2023-08-03 20:59:26
58阅读
备注二进制文件广义上讲是所有文件（在物理上所有文件都是二进制编码）。狭义上是指文本文件以外的文件 。而文本文件又是指ASCII或unicode编码的文件，二者在物理上没有本质的区别，只是逻辑上的概念。所以二进制文件在这里指的是所有文件。Hadoop主要处理日志文件，其中每一行文本代表一条日志记录。在MapReduce的数据处理中，处理结果是用key-value的格式传递给下一过程的。我们可以看到
近期在刚搭建完Hadoop集群时感到有点懵。主机中jps后出现的ResourceManager、SecondaryNameNode、NameNode、NodeManager、Jps以及DataNode是什么鬼。为何主机出现六个进程，而从机只有三个。基于这些问题，今天打算对Hadoop的整体框架做一个简单的整理。（如果想深入了解Hadoop的底层构建，最好去阅读一下Google的三大论文。此处附上博
转载
2023-05-26 16:23:36
71阅读
大家好，我是大D。今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。初识 Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop 提供了一套分布式系统基础架构，核心内容包含HDFS ( Hadoop Distributed File System, 分布式文件系统)、MapReduce计算引擎和YARN (Yet Another Resource Negotiator,
转载
2023-08-10 00:43:35
67阅读
Hive 简介1、Hive 由 Facebook 实现并开源2、是基于 Hadoop 的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供 HQL(Hive SQL)查询功能5、底层数据是存储在 HDFS 上6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行7、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据，适
Hadoop组成结构（新版3.x）一. HADOOP组成描述（1）Hadoop的四个特性（2）Hadoop的组成二.HDFS概述（1）HDFS概念（2） HDFS的特点（3）HDFS的组成结构和作用三. Yarn的组成（1）ResourceManager(RM)（2）NodeManager（3）ApplicationMaster（4）container 一. HADOOP组成描述（1）Hadoo
转载
2023-06-20 10:37:50
44阅读
首先是bin目录下： 然后是etc：主要存放各种配置文件 include： native：本地库 sbin：存放着一些指令 share：
转载
2020-03-01 11:09:00
835阅读
2评论
HDFS体系结构 Hadoop分布式文件系统(HDFS)是一种用于在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的差异是显著的。HDFS是高度容错的，并被设计为部署在低成本的硬件上.HDFS提供了对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。硬件故障 硬件故障是常态，而不是例外。HDFS实例可能由数百台或数千台服务器机器组成，每台
转载
2023-08-18 19:48:49
53阅读
Namenode在启动时，有个重要步骤就是载入fsimage文件，下面分析下这个流程NameNode.main-> NameNode(conf) -> NameNode.initialize(conf)-> FSNamesystem(this,conf) ->FSNamesystem.initialize(nn, conf)->FSNamesystem.
Hadoop的架构在其核心，Hadoop主要有两个层次，即： 加工/计算层(MapReduce) 存储层(Hadoop分布式文件系统) 除了上面提到的两个核心组件，Hadoop的框架还包括以下两个模块： Hadoop通用：这是Java库和其他Hadoop组件所需的实用工具 Hadoop YARN ：这是作业调度和集群资源管理的框架 Hadoop Streaming 是一个实用程序，它允
转载
2023-08-29 14:00:59
55阅读
hadoop中的SequenceFile提供了一种持久存储二进制k-v键值对的数据结构。和B-tree不同，SequenceFile不能支持对指定key的修改，增加或删除。整个文件只能以追加的方式写入数据。 SequenceFile有三种存储格式：非压缩格式，记录压缩格式和分块压缩格式；每种格式都包含一个Header，这个Header可以帮助读取方识别存储格式；1. 包括key值和val
转载
2023-08-09 21:07:21
45阅读
目录：1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理，调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoop服务端代码6.1、需要在$HADOOP
转载
2023-07-12 13:57:24
77阅读
即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
转载
2023-07-12 13:57:35
291阅读
hadoop入门分析（一）- 基本架构这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大数据的基本架构。背景背景就不多赘述了，相信很多朋友也不愿意过多了解这个历史，这里还是主要感谢膜拜那些大老
转载
2023-09-19 01:19:19
31阅读
功能实现功能：统计文本文件中所有单词出现的频率功能。下面是要统计的文本文件【/root/hadooptest/input.txt】foo foo quux labs foo bar quux abc bar see you by test welcome testabc labs foo me python hadoop ab ac bc bec python编写Map代码Map代码，它会从标准输
转载
2023-07-24 13:16:02
77阅读
# Hadoop集群结构简介
## 引言
随着大数据技术的发展，Hadoop作为一种分布式计算平台，被广泛应用于大规模数据的存储和处理。Hadoop集群是由多台计算机组成的，每台计算机上运行着Hadoop的一个实例。本文将介绍Hadoop集群的结构和各个组件的作用，并提供一些代码示例来帮助读者更好地理解。
## Hadoop集群结构
Hadoop集群由两种类型的节点组成：主节点（Maste
原创
2023-09-11 03:58:26
83阅读
目录一：MapReduce概述1.MapReduce定义2.MapReduce优势3.MapReduce劣势二：MapReduce核心思想三：如何自定义一个map-reduce程序1.建好Hadoop集群环境2.参考官方WordCount案例3.自定义WordCount案例3.1 新建maven工程3.2 日志配置log4j2.xml3.3 编写Mapper类3.4 编写Reducer类3.5
转载
2023-07-24 09:24:04
62阅读
