1. NameNode 2. 如何读取文件HDFS的文件读取原理，主要包括以下几个步骤： 首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。 DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，
一、导入新课带领学生回顾项目三Hadoop集群相关的知识，由于Hadoop的核心是HDFS和MapReduce。其中，HDFS是解决海量大数据文件存储的问题，是目前应用最广泛的分布式文件系统。因此，本次课将针对HDFS分布式文件系统进行详细讲解 二、新课讲解（一）HFDS的演变HDFS 源于 Google 在2003年10月份发表的GFS（Google File System）论文，接下
转载
2024-02-18 15:59:26
71阅读
一 分块（Block） HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。
转载
2023-09-20 12:06:58
69阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记录）
所支持
转载
2023-07-12 13:30:22
103阅读
HDFS前言设计的的思想：主要的是分而治之，将大的文件分割称为一个个小的文件，存储在各个机器上。在大数据中的应用：为大数据框架提供储存数据的服务重点概念：文件分块、副本存放、元数据。HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，很多服务器联合实现功能。HDFS组成结构图HDFS 写文件的基本流程先来了解几个概念block文件上
转载
2024-05-02 17:45:41
44阅读
一、HDFS(Hadoop Distributed File System的英文首字母缩写) 意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题 概念： HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 二、HDFS的设计思想 1、分散均匀
转载
2023-11-10 01:22:33
62阅读
一.背景为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二：技
转载
2023-09-21 23:59:29
110阅读
文章目录一、数据切片源码详解二、数据切片机制1、TextInputFormat切片机制2、CombineTextInputFormat切片机制3、KeyValueTextInputFormat切片机制4、NLineInputFormat切片机制5、自定义InputFormat切片机制 一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个512M的文件，HDFS默认一个Bl
转载
2024-09-06 13:07:02
48阅读
目录HDFS是什么HDFS的优缺点HDFS的框架HDFS的读写流程HDFS命令HDFS参数
1. HDFS是什么
它是一个文件系统，用于存储文件，通过目录树来定位文件位置；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。2.HDFS的优缺点 之所以选择HDFS来存储数据，是具有如下优势：No优势描述1高
转载
2024-05-04 13:37:13
58阅读
HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户写入，任意修改文件。HDFS数据块：HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块，默认
转载
2023-07-12 10:11:03
76阅读
在 hadoop 的 HDFS 操作中，有个非常重要的 api，是 org.apache.hadoop.fs.FileSystem， 这是我们用户代码操作 HDFS 的直接入口，该类含有操作 HDFS 的各种方法，类似于 jdbc 中 操作数据库的直接入口是 Connection 类。 那我们怎么获得一个 FileSystem 对象哪？String uri = "hdfs://192.168
转载
2024-03-16 22:48:36
49阅读
HDFS新增节点第一步：由纯净（没有进行过太多操作的）的虚拟机克隆出一台新的虚拟机，作为新的节点第二步：修改新节点的mac地址和ip地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址 删除mac地址行 vim /etc/sysconfig/network-scripts/ifcfg-eth0第三步：关闭防火墙，开启不自启
转载
2024-03-25 16:22:02
50阅读
本指南概述了HDFS Federation功能以及如何配置和管理联合集群。 当前HDFS背景 HDFS主要有两层： 1.Namespace （1）包含目录，文件和块。 （2）它支持所有命名空间相关的文件系统操作，如创建，删除，修改和列出文件和目录。 2.Block Storage，分为两部分： &n
转载
2024-03-29 22:17:28
57阅读
HDFS简介HDFS(HadoopDistributedFileSystem)即hadoop分布式文件存储系统。原理 将大文件、大批量文件，分布式存储在大量服务器上，以便采取分而治之的方式对海量数据进行分析。重要概念
文件切块：HDFS中的文件在物理上是分块存储的，block的大小可以通过配置参数自己设置。副本：datanode是HDFS集群的从节点，每个block可以在多个datanode
转载
2023-07-12 15:08:24
384阅读
增删节点 数据迁移
一、所有事情开始之前，先要备份好cloudera manager的数据库，以及hadoop集群中的一些组件带的数据库。这里保存了很多元数据，像hive这种丢了很麻烦的。
二、如果需要换nameNode的存储目录
1、备份nameN
转载
2024-01-02 20:36:34
47阅读
# 在 Spark 中实现 HDFS 动态分区
动态分区是 Spark 在处理大数据时非常关键的一个特性，尤其在与 HDFS 交互时。它允许我们根据特定列的值动态创建分区，而不是事先定义分区。本文将为您详细介绍如何在 Spark 中实现 HDFS 动态分区的步骤和代码示例。
## 流程概述
在实现动态分区之前，我们需要了解流程。以下是实现 HDFS 动态分区的主要步骤：
| 步骤 | 描述
HDFS分布式文件系统1. Hadoop是什么（20分钟）1.1 Hadoop架构HDFS (Hadoop Distributed File System)文件系统：存文件读文件的一个系统Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn1.2 从生活中寻找灵感1.2.1 存储书籍分馆、列、书架、书举例：国家图书馆从无到有开始创建，图书逐渐增多，日常
转载
2024-08-12 14:06:14
57阅读
本章内容： 1.HDFS的由来和相关的概念 2.HDFS体系结构、HDFS存储原理、HDFS数据读写过程 3.HDFS编程实践1.分布式文件系统HDFS简介2.HDFS块的概念现在可以把一个大的文件进行切割，可以把它切割成非常多的小块，这些小块可以分布式存储到不同的机器上面，这样就可以突破单机存储的上限。块的大小固定。块会备份名称结点的启动—shell命令Secondary Namenode属于备
转载
2024-05-24 19:02:15
57阅读
现状和目标Hadoop目前运行三个节点上，有一台做Namenode，其余为DataNode 主机IP 功能主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41DataNodeHadoop以后运行在6个节点上，有一台做Namenode，其余为DataNode主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41
转载
2024-05-15 06:49:54
16阅读
1. HDFS 是什么？ Hadoop分布式文件系统（Distributed File System）－HDFS（Hadoop Distributed File System） 2. HDFS 架构 首先HDFS是一个分布式文件系统，就是说在一个集群上做了一个文件系统。一般的集群都是主从
转载
2024-03-26 11:35:51
97阅读
