目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
HDFS最近学习总结一.hdfs整体运行机制：客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）需要保证数据的安全性，HDFS将每一个块都
原创
2019-02-12 17:24:46
591阅读
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录HDFS进阶总结1.01、HDFS知识点1.1、HDFS概述1.2、HDFS特点1.2.1、优点1.2.2、缺点1.3、HDFS角色1.3.1、Client1.3.2、NameNode1.3.3、DataNode1.3.4、Secondary NameNode1.4、HDFS结构1.5、NN与SNN工作机制1.5.1、概括1.5.2、理解1.6、
转载
2024-04-03 12:24:12
18阅读
最近，又看了《hadoop权威指南》，学习了Hadoop文件系统HDFS,下面我总结一下我对HDFS的学习： HDFS的构建思路：主要针对是大文件， 访问模式是一次写入，多次读取HDFS把大文件分割成数据块进行存储，默认的块大小为64MB（比磁盘块大（512字节）目的是为了最小化寻址开销）利用%hadoop fsck / -files -blocks 可以查看各个文件有哪
转载
2024-03-19 15:53:27
22阅读
package com.nzqk.demo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.jupiter.api.Test;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;/**@Version 1.0@Author:zhaoJiaC
原创
2021-06-21 11:10:51
226阅读
package com.nzqk.demo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.jupiter.api.Test;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;/**@Version 1.0@Author:zhaoJiaC
原创
2022-03-04 18:56:25
80阅读
HDFS入门第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小❤第2章 HDFS的shell操作（命令）第3章 HDFS客户端操作第4章 HDFS的数据流（面试重点）4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 网络拓扑-节点距离计算4.2 HDFS读数据流程 第1章 HDFS概述1.1 HDFS产出背景及定
转载
2024-04-18 16:31:41
70阅读
文章目录引言1. 基本特征1.1 高容错性1.2 数据容量大1.3 可扩展性1.4 高吞吐量1.5 就近计算2. 体系架构2.1 NameNode2.2 DataNode3. 存储机制3.1 Block3.2 副本管理策略4.数据读写过程4.1 数据的读取过程4.2 数据的写入过程5.Java API编程6.HDFS的高可靠性机制6.1 心跳机制6.2 Secondary NameNode6.3
转载
2024-03-31 09:20:16
43阅读
IDE 连接在本地电脑上解压 hadoop.tar.gz，配置环境变量之后 去github 上 把 winutil.exe 和 hadoop.dll 下载到 hadoop 的bin 文件夹下再修改 etc/hadoop-env.cmd 中的 JDK 路径我们使用 IDEA 打开一个 JAVA Maven项目，进行测试注意，这里的包导入全部都是在 hadoop 下的导入：<dependency
转载
2024-08-05 23:08:05
43阅读
HDFS 文件系统HDFS 简介HDFS 是 Hadoop Distributed File System 的简称，即 Hadoop 分布式文件系统。它起源于谷歌发表的 GFS 论文， 是该论文的开源实现，也是整个大数据的基础。HDFS 专门为解决大数据的存储问题而产生的，具有如下特点： 可存储超大文件：HDFS 可存储 PB&
转载
2023-09-29 09:48:17
98阅读
HDFS HA目录HDFS HA一、HA（High Availability）的使用原因1.1 在使用 HA之前1.2 解决办法二、HA的同步2.1 JournalNode（JN）集群2.2 防止脑裂的发生2.3 关于 JournalNode三、HA的自动容灾PS：在这里才开始使用 ZooKeeper，来实现自动故障转移。其中主要用到ZooKeeper quorum和 ZKFailover
转载
2023-07-27 21:25:23
77阅读
HDFS提供分布式存储机制, 提供可线性增长的海量存储能力自动数据冗余, 无须使用Raid, 无须另行备份为进一步分析计算提供数据基础 HDFS设计基础与目标硬件错误是常态, 因此需要冗余流式数据访问. 即数据批量读取而非随机读写, hadoop擅长做的是数据分析而不是事务处理大规模数据集简单一致性模型. 为了降低系统复杂度, 对文件采用一次性写多次读的逻辑设计, 即是文件一写入, 关闭
原创
2014-11-25 22:15:13
1770阅读
# Hadoop实战HDFS总结
Hadoop是一个开源的分布式计算平台，其中HDFS（Hadoop Distributed File System）是其核心组成部分，负责存储大数据。对于刚入行的开发者来说，理解如何操作HDFS是非常重要的。本文将一步步引导你了解HDFS的基本操作，帮助你总结出HDFS的实践经验。
## 流程概述
在接下来的内容中，我们将通过以下步骤实现HDFS的基本操作：
一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave主从结构模型来管理数据。在设计上采用了分而治之的思想，将单服务器无法承受的大量的数据分布在多台服务器上。HDFS主要由Client、NameNode、DataNode，SecondaryNameNode这四部分组成。1.2、组成HDFS的各模块作用 1.
转载
2023-07-19 15:00:19
438阅读
HDFS知识点总结学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。1、HDFS的设计HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户
转载
2018-12-23 21:17:17
469阅读
Hadoop HDFS操作命令总结 1.列出根目录下所有的目录或文件 2.列出/logs目录下的所有目录和文件 3.列出/user目录及其子目录下的所有文件（谨慎使用） 4.创建/soft目录 5.创建多级目录 6.将本地的wordcount.jar文件上传到/wordcount目录下 7.下载wo
原创
2022-07-22 15:24:31
346阅读
通过对Hadoop分布式文件系统的的基本使用，对HDFS Shell的基本操作进行如下总结
1.HDFS Shell基本操作总结
1.1 浏览你的HDFS目录
[root@slave1 bin]# hadoop fs -ls
1.2 上传数据到HDFS
上传：
&n
原创
2010-09-08 10:53:27
2084阅读
1.写文件：create2.读取文件：open3.删除文件：delete4.创建目录：mkdirs5.删除文件或目录：delete6.列出目录的内容：listStatus7.显示文件系统的目录和文件的元信息：getFileStatus------------------------------------------****通过java API对HDFS进行进行操作，我们只能通过FileSyste
原创
2014-03-04 14:17:34
692阅读
