block数据块是HDFS文件系统基本的存储单位block（块）128M 小于一个块的文件，不会占据整个块的空间 block数据块大小设置较大的原因（减少花销）：1）减少文件寻址时间2）减少管理块的数据开销，每个块都需要在NameNode上有对应的记录3）对数据块进行读写，减少建立网络的连接成本 一个文件可以划分成多个块进行存储，并保存三个副本以bloc
Hadoop hdfs 一、HDFS入门 1．HDFS基本概念 1.1．HDFS介绍 HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是 Hadoop核心组件之一，作为最底层的分布式存储服务而存在。 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处
转载
2023-09-15 22:28:41
54阅读
1、HDFS简介流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。 Hadoop整合了众多文件系统，在其中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例
转载
2023-11-22 19:55:59
90阅读
# 如何设置Hadoop HDFS JVM
## 流程概述
在设置Hadoop HDFS JVM时，主要分为如下几个步骤：
1. 修改Hadoop配置文件
2. 设置JVM参数
3. 重启Hadoop集群
## 步骤表格
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 修改hdfs-site.xml配置文件 |
| 2 | 修改hadoop-env.sh配置文件 |
|
原创
2024-05-20 04:28:27
205阅读
# Hadoop HDFS 设置内存
Hadoop的HDFS（Hadoop分布式文件系统）是一个大规模、高吞吐量、可扩展的存储系统，广泛应用于处理和存储大数据。为了提高HDFS的性能和稳定性，设置合理的内存配置显得至关重要。本文将介绍如何在Hadoop中设置HDFS的内存，结合代码示例和序列图，为读者详细展示相关概念和配置。
## HDFS的组件
HDFS主要由以下几个组件组成：
1. *
原创
2024-09-30 04:54:06
103阅读
1.将hadoop包解压放到/opt/hadoop下2.配置2.1.进入hadoop目录2.2.编辑hadoop.env.sh文件 配置jdk环境变量#vi etc/hadoop/hadoop-env.sh内容修改如下 具体地址根据服务器环境配置export JAVA_HOME=/usr/lib/jvm/java/3.配置yarn环境变量3.1.编辑yarn-env.sh文件 配置jdk环境#vi
转载
2023-08-02 07:53:40
100阅读
大数据第4周0.检查联网每次打开虚拟机都无法联网，都忘了打开服务这一步1.用户名相同要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。如要新增用户，先转换为root用户su root，然后执行以下操作：添加新用户：useradd 用户名设置用户密码：passwd 用户名添加新用户到wheel用户组（获得sudo权限）：usermod -a –G w
转载
2023-09-22 16:33:10
79阅读
HDFS是Hadoop的分布式文件系统，简单的说就是hadoop用来存储文件的，HDHS是一个主从结构，一个HDFS是由NameNode（名字节点），和若干个DataNode（数据节点），稍后详细介绍，HDFS对外开放文件命名空间并允许用户数据以文件形式存储。 接下来让我们用一张图来详细说明HDFS的实现机制 由上图可以看出hdfs是通过分布式集群来存
转载
2023-08-14 13:35:25
112阅读
前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是
转载
2024-07-23 10:01:46
33阅读
hadoop伪分布式安装（：linux基本命令、hadoop常用shell命令）大数据简介1什么是大数据？1.1大数据的的特点 ：5VVolume(大量)Variety(多样)Veloctiy(高速)Value(价值密度低)Veracity(真实性)1.2数据存储的单位bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB1.3 大数据的应用疫情防控核酸检测健康吗行程码
转载
2024-10-05 10:09:26
76阅读
Block概念磁盘有一个Block size的概念，它是磁盘读/写数据的最小单位。构建在这样的磁盘上的文件系统也是通过块来管理数据的，文件系统的块通常是磁盘块的整数倍。文件系统的块一般为几千字节(byte)，磁盘块一般为512字节(byte)。HDFS也有Block的概念，但它的块是一个很大的单元，默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行
转载
2023-12-19 06:27:24
359阅读
HDFS API详解org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem get(Configuration conf);
转载
2023-07-23 23:39:36
112阅读
Hadoop的配置详解 大家经过搭建单节点、伪分布、完全分布模式的集群环境，基本上会用到以下几个配置，core-site.xm/hdfs-site.xml/mapred-site.xml. 相信大家已经使用了其中的一些参数，下面我们来详细介绍一下各个配置中的参数，介绍的参数是大家可能用到的，当然还有很多没介绍到(学习hadoop不久,如果哪里错了，请
转载
2023-09-13 11:25:32
145阅读
Hadoop 生态是一个庞大的、功能齐全的生态，但是围绕的还是名为 Hadoop 的分布式系统基础架构，其核心组件由四个部分组成，分别是：Common、HDFS、MapReduce 以及 YARN。
Common 是 Hadoop 架构的通用组件；
HDFS 是 Hadoop 的分布式文件存储系统；
MapReduce 是Hadoop 提供的一种编程模型，可用于大规模数据集的并行运算；
YARN
转载
2023-09-13 11:24:12
108阅读
这篇博客是笔者在CSDN里的第一篇博客，旨在希望在这个圈子能够得到更多的交流、更快的成长。 这篇博客就讲些比较基础的内容——常用HDFS的API操作。因为所有的API比较多，所以笔者便从中摘选出11个比较常用的API,希望能给读者一些帮助。因为Hadoop中关于文件操作类基本上都在“org.apache.hadoop.fs”包中，这些API的主要作用主要体现在以下操作上：打开文件、读写文件、删除文
转载
2023-09-01 08:28:43
85阅读
HDFS Java API 可以用于任何Java程序与HDFS交互，该API使我们能够从其他Java程序中利用到存储在HDFS中的数据，也能够使用其他非Hadoop的计算框架处理该数据
为了以编程方式与HDFS进行交互，首先需要得到当前配置文件系统的句柄，实例化一个Configuration对象，并获得一个Hadoop环境中的FileSystem句柄，它将指向当前环境的HDFS NameNode
转载
2023-09-01 08:26:09
73阅读
最近刚好又重新了解了一下hdfs的一些内容，想通过这篇内容总结和记录一下。Hadoop分布式文件系统HDFS配置及示例运行。 作者使用的是hadoop3.2.1的版本，以下示例都是以hadoop-3.2.1为基础目录进行介绍。1、文件配置首先，进入hadoop配置目录: ./etc/hadoop$ cd etc/hadoop/(1) 配置core-site.xml文件vi 进入编辑模式$ vi c
转载
2023-07-23 17:16:21
243阅读
HDFS Java API 位于 org.apache.hadoop.fs 包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。该类是一个抽象类，只能通过get方法获取到具体的类。该类封装了大部分文件操作，如mkdir、delete等。 <!--指定maven项目jdk编译版本，默认是jdk1.5--&
转载
2023-08-18 19:31:40
78阅读
文章目录Hadoop三大组件之HDFS入门HDFS概述HDFS的shell操作(开发重点)基础语法部分常用命令实操上传下载HDFS的直接操作 Hadoop三大组件之HDFS入门众所周知，Hadoop有三大组件，HDFS、MapReduce、YARN。我的专栏是说大数据，那么数据总得需要存储吧，那么我们今天一起来看看这神秘的大数据有着怎样的身体，能够吸引这广大的学子来”看她“。HDFS概述存在即合
转载
2023-07-14 20:17:28
95阅读
目录1：创建目录2、查看文件，ls 没有cd命令， 需要指定绝对路径3：上传文件 put（要先把数据上传到linux本地然后再上传）4：下载文件 get5:复制 cp6：查看文件内容 cat , 如果数据量比较大，不能使用7：移动 mv, 物理层面文件没有移动，只是改变了元数据（目录结构）8：删除文件或者目录 rmr9：查看文件末尾 tail -f ; 一直等待查看10、查看文件的大小11：查看日
转载
2023-08-18 20:45:55
176阅读
