[TOC]HDFS(Hadoop Distributed File System)：分布式存储NameNode
是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的
元信息和每个文件对应的数据块列表。接收用户的操作请求。
文件包括：
1)fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
转载
2024-10-12 11:32:56
30阅读
文档编写目的本文介绍如何在Hue使在Hue中创建的用户能够在HDFS上自动生成同名的家目录。分为集成OpenLDAP和未集成OpenLDAP来进行测试。测试环境：1.Redhat7.22.采用root用户操作3.CM/CDH6.2.0未集成OpenLDAP验证1.Hue的配置，可以看到当前集群未集成OpenLDAP。 2.查看HDFS上/user目录下当前用户[root@cd
转载
2023-11-18 23:08:42
42阅读
# Hadoop添加硬盘教程
## 1. 整体流程
为了帮助小白实现Hadoop添加硬盘的操作，下面是整个过程的步骤概述：
| 步骤 | 描述 |
| ---- | ---- |
| 1. | 关闭Hadoop集群 |
| 2. | 安装新硬盘 |
| 3. | 格式化新硬盘 |
| 4. | 配置Hadoop |
| 5. | 启动Hadoop集群 |
下面将逐步详细
原创
2023-11-07 15:39:40
47阅读
一、实验环境 ：1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。2、系统：均为CentOS6.33、hadoop版本：CDH4.5，选用的mapreduce版本不是yarn，而是mapreduce1，整个集群在cloudera manager的监控下，配置时也是通过manager来配置（通过更改配置文件是一样的道理）。
转载
2024-03-25 16:32:03
127阅读
资源下载大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。 ambari可以让你快速部署一套hadoop环境，不论你是
转载
2024-03-18 10:07:07
34阅读
Hadoop工作节点扩展硬盘空间
接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。
这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。
1. 首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2. 如何加载新硬盘”部分。
（1）命令f
转载
2021-09-17 09:42:29
221阅读
hadoop集群 动态添加或删除节点 在运行中的ambari hadoop集中中动态添加或删除节点1. 下线hdfs节点 1) 下线datanodenamenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：server7server8 备注：如果hdfs
转载
2024-04-25 22:24:50
113阅读
HDD机械硬盘（HardDriver Disk）就是常说的HDD。它以铝合金材质的磁盘作为存储介质，马达驱动盘片旋转，磁头来读写数据。这就是是机械硬盘的基本构成，和光盘比较像。机械因公安读写数据时，将会接到指令，然后磁头移动到相应位置，盘片也会转动以便让数据将要发生操作的区域到达指定位置。这些动作时间就是寻道时间和潜伏周期。由于需要发生装置的移动，这些过程都需要几毫秒。那又是为什么明明只需要几毫秒
转载
2024-04-06 13:23:04
66阅读
linux查看硬盘大小与挂载硬盘linux的硬盘有挂载和未挂载两种（类似windows上的硬盘分区（C、D、E盘））
（1）查看已经挂载的硬盘大小：df -h
（2）查看详细的硬盘分区情况（包括挂载和未挂载两种的硬盘大小）：fdisk -l
介绍：
（1）df用于检查文件系统磁盘占用情况
（2）du检查磁盘空间占用情况
（3）fdisk用于磁盘分区
详解：
1．df
df命令可
转载
2024-01-03 22:45:47
115阅读
HDFS的设计 Hadoop自带一个称为HDFS的分布式文件系统，即Hadoop Distributed FileSystem。在非正式文档或旧文档以及配置中心中，有时也简称为DFS数据块 每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。构建与单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块。该文件系统块的大小可以是磁盘块的整数倍。 HDFS同样也有块（block）的概念，
转载
2023-07-12 13:28:56
129阅读
文章目录1、背景2、hdfs balancer和 hdfs disk balancer有何不同？3、操作3.1 生成计划3.2 执行计划3.3 查询计划3.4 取消计划4、和disk balancer相关的配置5、额外知识点5.1 新的block存储到那个磁盘(卷)中5.2 磁盘数据密度度量标准6、参考文档 1、背景在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁
转载
2024-04-21 10:15:40
78阅读
1 部署HDFSHDFS的基本操作可以分为集群管理和文件系统操作两种类型：集群管理：包括Namenodede 的格式化、集群的启动和停止、集群信息查看等。文件系统：包括对目录、文件和权限等内容的操作。HDFS中的命令主要在sbin和bin目录下[一般要进行环境变量的设置]：sbin:集群控制脚本(.sh)。bin:hadoop的文件系统命令和其他管理维护工具。1.1 hadoop安装和维护的方式主
转载
2024-03-27 13:59:00
50阅读
HDFS API详解org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem get(Configuration conf);
转载
2023-07-23 23:39:36
112阅读
Hadoop的配置详解 大家经过搭建单节点、伪分布、完全分布模式的集群环境，基本上会用到以下几个配置，core-site.xm/hdfs-site.xml/mapred-site.xml. 相信大家已经使用了其中的一些参数，下面我们来详细介绍一下各个配置中的参数，介绍的参数是大家可能用到的，当然还有很多没介绍到(学习hadoop不久,如果哪里错了，请
转载
2023-09-13 11:25:32
145阅读
Hadoop 生态是一个庞大的、功能齐全的生态，但是围绕的还是名为 Hadoop 的分布式系统基础架构，其核心组件由四个部分组成，分别是：Common、HDFS、MapReduce 以及 YARN。
Common 是 Hadoop 架构的通用组件；
HDFS 是 Hadoop 的分布式文件存储系统；
MapReduce 是Hadoop 提供的一种编程模型，可用于大规模数据集的并行运算；
YARN
转载
2023-09-13 11:24:12
108阅读
HDFS Java API 可以用于任何Java程序与HDFS交互，该API使我们能够从其他Java程序中利用到存储在HDFS中的数据，也能够使用其他非Hadoop的计算框架处理该数据
为了以编程方式与HDFS进行交互，首先需要得到当前配置文件系统的句柄，实例化一个Configuration对象，并获得一个Hadoop环境中的FileSystem句柄，它将指向当前环境的HDFS NameNode
转载
2023-09-01 08:26:09
73阅读
这篇博客是笔者在CSDN里的第一篇博客，旨在希望在这个圈子能够得到更多的交流、更快的成长。 这篇博客就讲些比较基础的内容——常用HDFS的API操作。因为所有的API比较多，所以笔者便从中摘选出11个比较常用的API,希望能给读者一些帮助。因为Hadoop中关于文件操作类基本上都在“org.apache.hadoop.fs”包中，这些API的主要作用主要体现在以下操作上：打开文件、读写文件、删除文
转载
2023-09-01 08:28:43
85阅读
1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等> hadoop dfsadmin -report笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据) 1. > hdfs dfs -mkdir
电脑硬盘有坏道怎么办电脑最近启动到桌面后 ，运行程序就卡起不动了，重新装了系统问题还是存在。根据故障现象初步分析有可能硬盘有坏道了，通过HDDScan(硬盘坏道检测工具) 对硬盘进行检测，确定是硬盘产生了坏道。硬盘有坏道怎么办呢，一定要换新的吗?我们来详细看看。1、如果你的硬盘是在保质期内，能找厂家换新的最好不过了。硬盘坏道(特别是物理坏道)是硬盘的所有故障中最让人头痛的。它轻则使你的电脑频频死机
最近刚好又重新了解了一下hdfs的一些内容，想通过这篇内容总结和记录一下。Hadoop分布式文件系统HDFS配置及示例运行。 作者使用的是hadoop3.2.1的版本，以下示例都是以hadoop-3.2.1为基础目录进行介绍。1、文件配置首先，进入hadoop配置目录: ./etc/hadoop$ cd etc/hadoop/(1) 配置core-site.xml文件vi 进入编辑模式$ vi c
转载
2023-07-23 17:16:21
243阅读
