HDFS2.0相对HDFS1.0有几个新特性1 NameNode HA在Hadoop1.0中NameNode在整个HDFS中只有一个，存在单点故障风险，一旦NameNode挂掉，整个集群无法使用，虽然有SNN，但还是不可靠；在Hadoop2.0中，就针对NameNode提供了一个高可用方案。1.0简图2.0简图HDFS的高可用性将通过在同一个集群中运行两个NameNode （active Name
转载
2024-08-07 10:44:48
79阅读
block块大小为什么是128M？ 磁盘寻址时间：10ms左右 I/O速率：100M/s 要让文件的寻址时间不会占用太多的文件读写时间，通常是1%；10ms*100 = 1s;所以让文件块的大小在100M左右，100M转换为二进制就是128MBlock概念： 磁盘有默认的数据
转载
2024-03-19 22:05:15
115阅读
注：以下配置描述的是HDFS的QJM方式的HA配置。1.1 zookeeper集群配置这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群，机器IP分别是：l192.168.111.130(hostname：hd0)
l192.168.111.131(hostname：hd1)
l192.168.111.132(hostname：hd2)
首先建立zo
转载
2024-08-02 10:45:31
24阅读
小文件BLOCK占用 【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的小文件会占用更多的NAMENODE的内存（记录了文件的位置等信息）；再者，在文件处理时，可能会有较大的网络开销。】 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 答案
转载
2024-08-31 15:37:18
31阅读
在实际应用中，hdfs block块的大小设置为多少合适呢？为什么有的是64M，有的是128M、256M、512呢？
转载
2019-03-30 00:14:00
348阅读
SparkSQL专门为读取HDFS上的文件开的外部数据源接口，spark-parquet、csv、json等都是这种方式。DefaultSource入口类，用来建立外部数据源连接，SparkSQL默认会找这个名字，不要改类名。基本所有接口都在这个类里private[tsfile] class DefaultSource extends FileFormat with DataS...
原创
2021-09-02 16:37:44
903阅读
SparkSQL专门为读写HDFS上的文件开的外部数据源接口，spark-parquet、csv、json等都是这种方式。DefaultSource入口类，用来建立外部数据源连接，SparkSQL默认会找这个名字，不要改类名。基本所有接口都在这个类里private[tsfile] class DefaultSource extends FileFormat with DataS...
原创
2021-09-02 16:37:42
145阅读
最终结果：
[hadoop@h41 ~]$ jps
12723 ResourceManager
12995 Jps
12513 NameNode
12605 DFSZKFailoverController
[hadoop@h42 ~]$ jps
12137 ResourceManager
12233 Jps
12009 DFSZKFailoverControll
转载
2024-07-19 09:15:28
40阅读
hadoop2.2.0集群搭建
PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，
因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装
hadoop-2.2.0就需要重新在64操作系统上重新编译
1.准备工作:(参考伪分布式搭建)
1.1修改Linux主机名
1.2修改IP
1.3修改主机名和IP的映射关系
1.4关闭防火墙
1.5ssh免登陆
1
转载
2024-05-09 14:26:25
77阅读
防坑留言： 不但要能简单写出伪分布式，还要对其配置文件为什么这么写有一定理解才容易找出bug，分析原因，解决问题其实详细api官网是提供的，我这里简单介绍一下我用的HDFS结构NameNode:名字节点 1、 整个文件系统的管理节点。文件系统的文件目录树。
转载
2024-04-18 09:38:20
51阅读
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
182阅读
目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
四、hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小
转载
2024-06-11 10:38:36
115阅读
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？  
转载
2024-08-23 13:32:08
69阅读
Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下： InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计为一个抽象类，代码如下： public abstract clas
转载
2024-04-08 11:42:42
33阅读
文章目录HDFS 概述HDFS 产生背景HDFS 定义HDFS 使用场景HDFS 架构组成NameNodeSecondary NameNodeDataNodeClientHDFS 优缺点优点缺点 HDFS 概述HDFS 产生背景随着计算机技术的发展,数据量越来越大,在一个操作系统中存不下所有的数据，就会把数据分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上
转载
2024-03-18 14:05:15
146阅读
Hadoop1. Hadoop 介绍The Apache Hadoop project develops open-source software for reliable, scalable,
distributed computing.
The Apache Hadoop software library is a framework that allows for the distribu
转载
2024-08-08 11:45:00
73阅读
hadoop_hdfs07-hdfsHA集群配置&ZK集群配置&yarnHA配置注:笔记.(一) 集群规划Hadoop102Hadoop03Hadoop04ZKZKZKJournaleNodeJournaleNodeJournaleNodeNameNodeNameNodeDataNodeDataNodeDataNodeResourceManagerResourceManagerNo
转载
2024-02-15 21:35:32
73阅读
HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来说，随着数据
转载
2024-04-26 09:56:56
209阅读
