HDFS前言设计的的思想：主要的是分而治之，将大的文件分割称为一个个小的文件，存储在各个机器上。在大数据中的应用：为大数据框架提供储存数据的服务重点概念：文件分块、副本存放、元数据。HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，很多服务器联合实现功能。HDFS组成结构图HDFS 写文件的基本流程先来了解几个概念block文件上
转载
2024-05-02 17:45:41
44阅读
# 实现“hive 动态分区插入hdfs报错”解决方案
## 一、整体流程
下面是解决“hive 动态分区插入hdfs报错”问题的整体流程：
```mermaid
pie
title 解决“hive 动态分区插入hdfs报错”流程
"了解问题": 30
"查找解决方案": 30
"实施解决方案": 40
```
## 二、解决步骤
### 1. 了解问题
原创
2024-02-29 06:33:49
96阅读
一、导入新课带领学生回顾项目三Hadoop集群相关的知识，由于Hadoop的核心是HDFS和MapReduce。其中，HDFS是解决海量大数据文件存储的问题，是目前应用最广泛的分布式文件系统。因此，本次课将针对HDFS分布式文件系统进行详细讲解 二、新课讲解（一）HFDS的演变HDFS 源于 Google 在2003年10月份发表的GFS（Google File System）论文，接下
转载
2024-02-18 15:59:26
71阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记录）
所支持
转载
2023-07-12 13:30:22
103阅读
一 分块（Block） HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。
转载
2023-09-20 12:06:58
69阅读
一.背景为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二：技
转载
2023-09-21 23:59:29
110阅读
一、HDFS(Hadoop Distributed File System的英文首字母缩写) 意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题 概念： HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 二、HDFS的设计思想 1、分散均匀
转载
2023-11-10 01:22:33
62阅读
1. NameNode 2. 如何读取文件HDFS的文件读取原理，主要包括以下几个步骤： 首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。 DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，
文章目录一、数据切片源码详解二、数据切片机制1、TextInputFormat切片机制2、CombineTextInputFormat切片机制3、KeyValueTextInputFormat切片机制4、NLineInputFormat切片机制5、自定义InputFormat切片机制 一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个512M的文件，HDFS默认一个Bl
转载
2024-09-06 13:07:02
48阅读
目录HDFS是什么HDFS的优缺点HDFS的框架HDFS的读写流程HDFS命令HDFS参数
1. HDFS是什么
它是一个文件系统，用于存储文件，通过目录树来定位文件位置；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。2.HDFS的优缺点 之所以选择HDFS来存储数据，是具有如下优势：No优势描述1高
转载
2024-05-04 13:37:13
58阅读
HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户写入，任意修改文件。HDFS数据块：HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块，默认
转载
2023-07-12 10:11:03
76阅读
HDFS新增节点第一步：由纯净（没有进行过太多操作的）的虚拟机克隆出一台新的虚拟机，作为新的节点第二步：修改新节点的mac地址和ip地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址 删除mac地址行 vim /etc/sysconfig/network-scripts/ifcfg-eth0第三步：关闭防火墙，开启不自启
转载
2024-03-25 16:22:02
50阅读
本指南概述了HDFS Federation功能以及如何配置和管理联合集群。 当前HDFS背景 HDFS主要有两层： 1.Namespace （1）包含目录，文件和块。 （2）它支持所有命名空间相关的文件系统操作，如创建，删除，修改和列出文件和目录。 2.Block Storage，分为两部分： &n
转载
2024-03-29 22:17:28
57阅读
在 hadoop 的 HDFS 操作中，有个非常重要的 api，是 org.apache.hadoop.fs.FileSystem， 这是我们用户代码操作 HDFS 的直接入口，该类含有操作 HDFS 的各种方法，类似于 jdbc 中 操作数据库的直接入口是 Connection 类。 那我们怎么获得一个 FileSystem 对象哪？String uri = "hdfs://192.168
转载
2024-03-16 22:48:36
49阅读
HDFS简介HDFS(HadoopDistributedFileSystem)即hadoop分布式文件存储系统。原理 将大文件、大批量文件，分布式存储在大量服务器上，以便采取分而治之的方式对海量数据进行分析。重要概念
文件切块：HDFS中的文件在物理上是分块存储的，block的大小可以通过配置参数自己设置。副本：datanode是HDFS集群的从节点，每个block可以在多个datanode
转载
2023-07-12 15:08:24
384阅读
## Hive插入分区的实现流程
为了帮助你理解Hive插入分区的过程，我将以表格的形式展示整个流程，并在下面的段落中逐步解释每个步骤的具体操作和代码。
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建分区表 |
| 2 | 加载数据到普通表 |
| 3 | 插入数据到分区表 |
### 步骤1：创建分区表
首先，我们需要创建一个分区表。分区表是在Hive中的一种特殊表
原创
2023-11-05 08:45:00
120阅读
# Spark插入分区
## 引言
在大数据领域，Apache Spark 是一个开源的分布式计算系统，广泛应用于处理大规模数据集和进行复杂的数据分析。Spark 提供了丰富的 API 和支持多种编程语言，如 Scala、Java、Python 和 R。在 Spark 中，我们可以通过插入分区的方式来优化数据的存储和查询效率。本文将详细介绍什么是分区，为什么要插入分区，以及如何在 Spark 中
原创
2024-01-28 05:53:58
57阅读
# 在 Spark 中实现 HDFS 动态分区
动态分区是 Spark 在处理大数据时非常关键的一个特性，尤其在与 HDFS 交互时。它允许我们根据特定列的值动态创建分区，而不是事先定义分区。本文将为您详细介绍如何在 Spark 中实现 HDFS 动态分区的步骤和代码示例。
## 流程概述
在实现动态分区之前，我们需要了解流程。以下是实现 HDFS 动态分区的主要步骤：
| 步骤 | 描述
现状和目标Hadoop目前运行三个节点上，有一台做Namenode，其余为DataNode 主机IP 功能主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41DataNodeHadoop以后运行在6个节点上，有一台做Namenode，其余为DataNode主机IP功能10.3.5.40NameNode10.3.5.39DataNode10.3.5.41
转载
2024-05-15 06:49:54
16阅读
1. HDFS 是什么？ Hadoop分布式文件系统（Distributed File System）－HDFS（Hadoop Distributed File System） 2. HDFS 架构 首先HDFS是一个分布式文件系统，就是说在一个集群上做了一个文件系统。一般的集群都是主从
转载
2024-03-26 11:35:51
97阅读
