近期在刚搭建完Hadoop集群时感到有点懵。主机中jps后出现的ResourceManager、SecondaryNameNode、NameNode、NodeManager、Jps以及DataNode是什么鬼。为何主机出现六个进程，而从机只有三个。基于这些问题，今天打算对Hadoop的整体框架做一个简单的整理。（如果想深入了解Hadoop的底层构建，最好去阅读一下Google的三大论文。此处附上博
转载
2023-05-26 16:23:36
94阅读
大家好，我是大D。今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。初识 Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop 提供了一套分布式系统基础架构，核心内容包含HDFS ( Hadoop Distributed File System, 分布式文件系统)、MapReduce计算引擎和YARN (Yet Another Resource Negotiator,
转载
2023-08-10 00:43:35
86阅读
Hadoop架构 HDFS架构概念：HDFS架构采用主从式架构，是一种Master-Slave结构Master------NameNodeSlave------DataNode结构：Client（客户端）作为资源请求的载体，想Hadoop集群发送请求具体作用：切分文件：文件上传HDFS的时候，将文件切成一个个Block再进行存储与NameNode交互，获取文件的位置信息与DataNode
转载
2023-07-12 18:47:51
42阅读
hadoop入门分析（一）- 基本架构这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大数据的基本架构。背景背景就不多赘述了，相信很多朋友也不愿意过多了解这个历史，这里还是主要感谢膜拜那些大老
转载
2023-09-19 01:19:19
40阅读
Hadoop（一）Hadoop概述1.Hadoop基本结构1.1 HDFS架构1.2 YARN架构1.3 MapReduce架构1.4 HDFS、YARN、MapReduce三者关系2.Hadoop优势3.安装JDK与Hadoop3.1 安装JDK3.2 安装Hadoop 1.Hadoop基本结构Hadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。Hadoop组
转载
2023-09-27 21:31:40
74阅读
源码见：https://github.com/hiszm/hadoop-trainHadoop概述http://hadoop.apache.org/The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop software library is a framework that allows for the di
原创
2022-02-04 16:25:19
64阅读
文章目录一、Hadoop 入门1.1 基础架构1.2 大数据生态圈二、Hadoop 集群部署2.1 准备2.2 配置2.3 启动2.4 监控页面三、HDFS3.1 组成架构3.2 HDFS Shell3.3 HDFS 客户端3.4 HDFS 数据流3.4.1 写数据流程3.4.2 读数据流程3.5 NN 和 2NN3.5.1 工作机制3.5.2 集群安全模式3.6 DN3.6.1 工作机制3.6
转载
2023-07-25 19:33:09
73阅读
MapReduce应用开发遵循Yarn规范的MapReduceApplicationMaster，所以可以在Yarn上运行，其它计算框架如果也遵守该规范，这样就实现资源的统一调度管理。调度器的基本作用就是根据节点资源的使用情况和作业需求，将任务调度到各个节点上执行。一、Yarn基本结构Hadoop三大核心组件：分布式文件系统HDFS、分布式计算框架MapReduce，分布式集群资源调度框架Yarn
转载
2021-04-29 14:17:01
263阅读
2评论
MapReduce应用开发遵循Yarn规范的MapReduceApplicationMaster，所以可以在Yarn上运行，其它计算框架如果也遵守该规范，这样就实现资源的统一调度管理。调度器的基本作用就是根据节点资源的使用情况和作业需求，将任务调度到各个节点上执行。
原创
2020-12-13 16:44:32
731阅读
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 1、HDFS（分布式文件系统）:HDFS是整个hadoop体系的基
转载
2023-08-29 15:46:34
87阅读
转载
2023-08-03 20:59:26
61阅读
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（
转载
2023-09-20 10:53:51
53阅读
培训第一天：上午，我来的很早，本来是10点开始上课，我早到了9点钟了，到了后就紧张的，不知哪个教室，侯老师介绍了一个美女的班主任。她负责同学的座位。我一点点接受美女老师真的美美，美女老师还介绍一位上课的教导老师名叫张老师，他是一位胖胖的，好可爱啊。我就一点也不害怕了。我不多说这些，说点正事：张老师还给了我介绍概念内容：**1)什么是HTML**答：HTML是超文本标记语言，是在浏览器上运行的一个脚
原创
2019-09-04 20:13:01
375阅读
点赞
1评论
备注二进制文件广义上讲是所有文件（在物理上所有文件都是二进制编码）。狭义上是指文本文件以外的文件 。而文本文件又是指ASCII或unicode编码的文件，二者在物理上没有本质的区别，只是逻辑上的概念。所以二进制文件在这里指的是所有文件。Hadoop主要处理日志文件，其中每一行文本代表一条日志记录。在MapReduce的数据处理中，处理结果是用key-value的格式传递给下一过程的。我们可以看到
转载
2024-06-27 07:02:54
25阅读
hadoop的基本操作是对6个类的重写实现的//基本的设置，对于同的问题，只需要重写6个类即
原创
2023-07-11 00:02:05
40阅读
Hadoop组成结构（新版3.x）一. HADOOP组成描述（1）Hadoop的四个特性（2）Hadoop的组成二.HDFS概述（1）HDFS概念（2） HDFS的特点（3）HDFS的组成结构和作用三. Yarn的组成（1）ResourceManager(RM)（2）NodeManager（3）ApplicationMaster（4）container 一. HADOOP组成描述（1）Hadoo
转载
2023-06-20 10:37:50
50阅读
Hive 简介1、Hive 由 Facebook 实现并开源2、是基于 Hadoop 的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供 HQL(Hive SQL)查询功能5、底层数据是存储在 HDFS 上6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行7、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据，适
转载
2023-09-22 13:23:57
52阅读
HDFS体系结构 Hadoop分布式文件系统(HDFS)是一种用于在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的差异是显著的。HDFS是高度容错的，并被设计为部署在低成本的硬件上.HDFS提供了对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。硬件故障 硬件故障是常态，而不是例外。HDFS实例可能由数百台或数千台服务器机器组成，每台
转载
2023-08-18 19:48:49
61阅读
Hadoop框架的认识以及基础命令的认识Hadoop的学习笔记大数据的特点：大量、高速、多样化概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop框架三大组件支持：Hadoop是一个统称，目前hadoop主要包含三大组件：（1）HDFS：是一个分布式存储框架，适合海量数据的存储（2）mapreduce：是一个分布式计算框架，适合海量数据的计算（3）yarn：是一个资源调
转载
2023-07-04 09:54:43
99阅读
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年，本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS，以加深了解。1、Hadoop基本介绍Hadoop是分布式计算框架，主要解决海量数据的存储和计算问题。Hadoop主要组件包括分布式文件系统HDFS、分布式离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN。Hadoop生态系统一系列框架和组
转载
2023-08-03 20:58:56
176阅读
