1、HDFS分布式存储 namenode:统一管理文件的元数据信息 fsImage:存储了文件的基本
转载
2024-03-19 22:02:23
34阅读
MapReduce的流程图 名词解释：Map的过程 ：每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性控制），
转载
2023-11-28 20:29:34
63阅读
# 解决 "org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs:/" 错误的步骤和代码
## 引言
在使用 Hadoop 进行数据处理时，可能会遇到 "org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdf
原创
2023-09-12 19:40:32
1482阅读
目的本文档可以作为使用Hadoop分布式文件系统用户的起点，无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用。HDFS被设计成可以马上在许多环境中工作起来，那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断。概览HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datano
转载
2024-03-10 19:43:23
54阅读
杀死mapreduce进程 [hdfs@hadoop-slave ~]$ mapred job -kill job_1472108457736_0180
原创
2022-01-04 17:05:18
95阅读
HDFS 的工作机制：写操作/读操作（1）职责：NameNode 负责管理整个文件系统元数据；DataNode 负责管理具体文件数据 ；块存储；Secondary NameNode 协助 NameNode 进行元数据的备份。注意： （一）NameNode管理的元数据包括： 1.与文件相关：所有文件的目录树（命名空间）；整个集群中的配置文件。 2.DataNode信息池： HDFS 中任何给定
转载
2024-04-13 09:33:47
29阅读
HDFS Users Guide
这篇文章作为工作在Hadoop分布式文件系统(HDFS)，无论是作为Hadoop集群的一部分还是作为一个独立的通用的分布式文件系统的用户的一个起点。HDFS设计用来在多种环境中轻松的使用，HDFS的工作知识非常有助于对一个特定集群配置的提升和诊断工作。
综述
下边是一些许多用户感兴趣的显著特征：
主要的角色：客户端：负责发起或提交读写请求（如果往HDFS上存储数据或获取数据，就要告诉客户端）。namenode：HDFS的核心负责全局协调，做任何事都要向这里汇报，和把控所有的请求。datanode：数量不定，负责数据的 存储。把数据写到HDFS的集群的过程1.用户向客户端请求服务 &
转载
2024-05-02 22:58:24
19阅读
4.hdfs的工作机制（工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解4.1 概述1. HDFS
转载
2024-02-29 16:39:40
94阅读
1.文档编写目的对于多租户共同使用的Hadoop平台，HDFS配额设置非常重要。如果没有配额管理，很容易将所有空间用完导致其他租户无法正常存取数据，严重的可能导致HDFS集群宕掉。HDFS的配额是针对目录而不是租户(用户)，所以在管理上最好能让租户只能操作某一类目录，然后对这一类目录进行配额设置。接下来Fayson主要介绍如何在Cloudera Manager上对指定HDFS目录设置配额。测试环境
转载
2024-03-20 12:45:20
83阅读
1HDFS概述概述：HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的有很多服务器联合起来实现其功能，集群中的服务器有各自的角色。使用场景：适合一次写入，多次读出的场景切不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用优点:1容错性高，数据自动保存多个副本，它通过副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。2适合做大数据分析 1数据规模：能
转载
2023-08-06 11:49:36
186阅读
1.创建linux账号
作用：创建特定的linux系统账号区分hadoop进程；
hdfs hdfs 密码：
qazwsx
创建用户组：groupadd hadoop
hdfs 2.配置ssh
作用：hadoop控制脚本依赖ssh来执行针对整个集群的操作。
ssh安装好之后，需要允许来自集群内机器的hdfs用户能够无需密码登陆，创建一个公钥/私钥对放在NFS
转载
2024-03-14 09:01:52
67阅读
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configu
原创
2022-11-16 19:36:22
84阅读
同样的：和上次的博文一样，也是一边写，一边操作，一边截图整理的文档，图片部分不方便一一上传，量大务繁，如有能帮助您的，或是有需求的，这里贴出文档具体，自行下载链接：http://pan.baidu.com/s/1eQ6RYy2 密码：hhph主要是参考的网上的教程：可取之点就是通过自己的理解，把一些自己在理解过程中的难点要点容易迷惑的点说一下。一、在Ubuntu下创建hadoop组和hadoop用
通俗来讲RPC（Remote Procedure Call）就是调用远程的过程或者方法，既然涉及到远程，必然会有C/S架构，即client和server。下面首先来看一下Client端的实现。为实现远程方法调用，最重要的就是跟远程服务器进行连接，然后不断的传输客户端想要调用的方法，包括方法的参数等。为此Client有两个最重要的变量与之一一对应，Connection和Call。
转载
2024-09-06 09:26:52
16阅读
hdfs的工作机制 4.1 概述HDFS集群分为两大角色：NameNode、DataNodeNameNode负责管理整个文件系统的元数据管理、负责客户端用户的请求DataNode 负责管理用户的文件数 据块文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本，并存放在不同的datanode上Datanode会定期向Namen
转载
2023-12-18 21:59:03
112阅读
实验目标配置环境的主要目的是得到HDFS的客户端fuse-dfs的IO性能。本来的服务器上没有任何环境，因此安装均是从无到有的。系统是Ubuntu server 14.04 amd64。整个过程参考了很多网上的博客，但是由于JAVA版本、hadoop版本、HDFS版本以及fuse-dfs版本的原因，网上各种解决方案在本机的运行上有点问题，需要进行一些变通才能保证各步骤的成功运行
1、困惑：hadoop和hive通过客户机接入到集群生产，客户机是linux系统，那么linux用户和hive角色之间是什么关系呢？或者说，怎么控制linux系统用户可以细粒度访问hive的数据库和表。2、新建linux用户和用户组1)#groupadd hphs;2)#useradd -d /home/hphs/ -m hphs -g hphs -G hadoop指定用户所属的附加组hadoop
转载
2024-05-27 15:02:50
137阅读
## Hive HDFS用户
Hive是一个基于Hadoop的数据仓库基础设施，用于查询和分析大规模的数据集。Hadoop Distributed File System（HDFS）则是Hadoop的分布式文件系统，用于存储和管理大规模数据。在Hive中，HDFS用户是指通过Hive来访问和操作HDFS中数据的用户。
### Hive和HDFS的关系
Hive与HDFS之间存在着密切的关系。
原创
2023-11-20 07:03:06
140阅读
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
<exclusio
