文章目录HDFS 概述HDFS 产生背景HDFS 定义HDFS 使用场景HDFS 架构组成NameNodeSecondary NameNodeDataNodeClientHDFS 优缺点优点缺点 HDFS 概述HDFS 产生背景随着计算机技术的发展,数据量越来越大,在一个操作系统中存不下所有的数据，就会把数据分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上
转载
2024-03-18 14:05:15
146阅读
目录一、HDFS写数据流程二、节点距离计算三、副本节点选择四、HDFS读数据流程 23天面试重点一、HDFS写数据流程流程图：（图片来源于尚硅谷） 流程图解析:1、客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。2、NameNode 返回是否可以上传。3、客户端请求第一个
转载
2024-04-19 12:04:02
43阅读
前言：在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。HA架构图： 集群需要考虑的问题：1 我们要考虑两个NM之间的元数据是共享或者同步的NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文件而且随着Acti
转载
2024-04-19 17:54:52
18阅读
HDFS入门（四）—— HDFS的读写流程（图文详解步骤2021） 文章目录HDFS入门（四）—— HDFS的读写流程（图文详解步骤2021）4.1 HDFS 写数据流程4.1.1 剖析文件 写入4.1.2 网络拓扑- 节点 距离计算4.1.3 机架 感知 （副本 存储 节点 选择）1 ）机架感知说明2 ）Hadoop3.1.3 副本节点选择4.2 HDFS 读数据流程 4.1 HDFS 写数据流
转载
2024-02-02 09:55:19
118阅读
HDFS总结HDFSHDFS存储管理各个角色及作用NameNodeDataNodeSecondaryNameNodeZKFCjournalNode备用的NN(standby)备份机制集群外操作集群内操作HDFS读写流程读流程写流程搭建集群的三种模式HDFS优缺点优点缺点 思维导图请看博客:HDFS思维导图HDFSHDFS存储管理各个角色及作用NameNode接收客户端的读写请求管理元数据
转载
2024-03-28 08:07:09
7阅读
文章目录HDFS写数据流程图HDFS读数据流程图HDFS 元数据管理与checkpoint HDFS写数据流程图客户端会根据配置文件将需要写入的文件切分为多个block, 例如将 jdk.tar.gz 切分为 block1 和 block2客户端首先向NN发送写数据的请求， 当请求同意后，客户端会向NN发送请求写入block1，NN会告知客户端block1将被写入哪些DN（DN1, DN2, D
转载
2024-04-12 08:34:09
61阅读
目录七、hdfs的体系结构(重中之重)4.1 整体的概述4.2 fsimage和edit文件的查看八、hdfs中的工作机制1.1 开机启动流程（重点）1.2 安全模式1.3 心跳机制(重点)1.4 检查点机制（重点）1.5 网络拓扑以及机架感知1.6 集群工作节点的动态上下线九、hdfs的api十、读写流程(重点)3.1 读流程3.2 写流程七、hdfs的体系结构(重中之重)4.1 整体的概述&l
在前文大数据系列1：一文初识Hdfs中，我们对Hdfs有了简单的认识。在本文中，我们将会简单的介绍一下Hdfs文件的读写流程，为后续追踪读写流程的源码做准备。Hdfs 架构首先来个Hdfs的架构图，图中中包含了Hdfs 的组成与一些操作。对于一个客户端而言，对于Hdfs的操作不外乎也就读写两个操作，接下来就去看看整个流程是怎么走的。下面我们由浅及深，分为简单流程，详细流程分别介绍读写过程简单流程读
转载
2023-07-31 17:19:07
289阅读
hadoop前生今世hadoop最初由yahoo和google共同提出。 他们想对自己的搜索数据进行理解，从而产生更多的商业价值和决策。分布式容错性 如果一个节点产生错误或者退出计算，hadoop会把该节点任务分配给其他节点并继续运行。实时性生态系统最关键的有以下两个 - HDFS - MapReduce此外，hadoop最常用的组件如下图： 其中 hbase：列存储Sqoop：负责数据
转载
2023-09-03 12:35:50
169阅读
HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1.架构图 (1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问
转载
2024-03-16 22:32:46
258阅读
升级需要重点考虑的几个问题DataStorage重要的功能就是管理磁盘存储空间的生命周期。升级是磁盘存储空间生命周期管理中最重要的一个环节，尤其是对于HDFS这样的分布式存储系统，升级需要重点考虑以下几个问题。■ 版本兼容性问题：不同版本之间兼容性的设计，高版本是否需要兼容低版本？不同组件之间，例如Datanode和Namenode之间的版本是否需要一致？■ &n
转载
2024-03-22 19:55:10
36阅读
前言经过了前5篇文章的介绍 ，本专栏的内容已经近半了。本文接下来主要介绍Spark中的流计算，以及编程的基本方法。在正式开始介绍流计算前，首先要理解几种不同的数据类型。然后给出流计算的基本框架以及其处理的基本流程。全部的Spark Streaming内容分为两篇，本文介绍其基本概念以及基本操作。下一篇主要是介绍如何设置输入源，且对其数据抽象DStream进行转换与输出操作。本文的主要内容包括以下几
转载
2024-06-01 23:59:03
46阅读
官方文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html一、介绍DFS(Distributed File System)分布式文件系统：管理网络中跨多台计算机存储的文件系统。Hadoop自带一个HDFS(Hadoop Distributed File System)分布式文件系
转载
2023-08-03 14:45:47
83阅读
原创
2022-01-19 10:25:50
85阅读
hdfs文件系统分namenode和datanode两部分 这里分析下客户端在上传和下载时它们的工作机制namenode和secondarynamenode的工作原理namenode的职责： 1、记录元数据 元数据就是datanode上每个文件的块信息 块信息包括文件的路径
文件的副本数量
文件的切块大小
文件的块信息
文件块的位置信息2、响应客户端请求处理
转载
2024-03-22 06:16:04
26阅读
原创
2021-07-13 10:15:10
251阅读
工作原理：NameNode和DateNode，NameNode相当于一个管理者，它管理集群内的DataNode，当客户发送请求过来后，NameNode会根据情况指定存储到哪些DataNode上，而其本身自己并不存储真实的数据。那NameNode怎么知道集群内DataNode的信息呢？DataNode发送心跳信息给NameNode。写操作： 以下是直接从文档中摘抄下来的（利于理解）：有一个
转载
2024-03-06 16:25:04
17阅读
作者：tracy_668 写流程(7步)1.HDFS提供的客户端Client，向远程的Namenode发起RPC请求。 2.Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作。成功则会文件创建一个记录，否则会让客户端抛出异常。 3.(a)当客户端Client开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data
转载
2024-05-02 23:12:03
56阅读
HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。HDFS设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用。 &
转载
2024-04-08 22:01:51
47阅读
核心思路：在Active NN和Standby NN之间要有个共享的存储日志的地方，Active NN把EditLog写到这个共享的存储日志的地方，Standby NN去读取日志然后执行，这样Active和Standby NN内存中的HDFS元数据保持着同步。一旦发生主从切换Standby NN可以尽快接管Active NN的工作目录：一、SPOF（single point offai
转载
2023-08-18 19:29:31
54阅读
