我们通过与命令行与HDFS交互来了解它。HDFS还有许多其它接口，但是对开发者来说，命令行是最简单的，也是最熟悉的。 我们将在一台机器上运行HDFS，所以首先根据附录A来搭建HADOOP伪分布式模式。以后我
转载
2024-04-25 09:36:31
23阅读
通过前面对HDFS基本概念、高可用性、数据读写流程的介绍，我们对HDFS已经有了大致的了解。这里我们还需要明确一点：Hadoop作为一个完整的分布式系统，它有一个抽象的文件系统的概念，而我们介绍的HDFS只是其中的一个实现，一个最常用的实现，实际上还有很多其他的分布式文件系统。 Hadoop对文件系统提供了很多接口，一般使用URI（统一资源定位符）来表示选取的文件系统具体是哪一个，比如file
转载
2024-05-13 09:05:31
30阅读
HDFSHDFS提供一套Java API来操作HDFS，包括文件的建立、修改、删除、权限管理等，下面对几个常用的API进行介绍，详细的API接口请参见API文档，可以在${HADOOP_HOME}/share/doc/api/index.html中找到。IOUtils类Hadoop IO的基础类，提供一组静态方法来控制HadoopIO。通过IOUtils类，可以使用java.net.URL类来访问
转载
2024-04-25 07:39:11
16阅读
命令基本格式:hadoop fs -cmd < args >lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件puthadoop fs -put < local file > < hdfs file >hdfs file的父目录一定要存在，否则命令不会执行hadoop
转载
2024-02-21 08:02:55
18阅读
通过HTTP来访问HDFS有两种方法：直接访问，HDFS后台进程直接服务于来自客户端的请求；通过代理(一对多)访问，客户端通常使用DistributedFileSystemAPI访问HDFS。第一种情况，由namenode内嵌的web服务器（运行在50070端口上）提供目录服务，目录列表以XML或者
原创
2022-06-10 20:00:37
252阅读
转载
2019-07-15 12:43:00
75阅读
2评论
一、概述 近年来，大数据技术如火如荼，怎样存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有很广泛的应用。 Hadoop分布式文件系统(Hadoop Distributed File System。HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统
通过HTTP来访问HDFS有两种方法：直接访问，HDFS后台进程直接服务于来自客户端的请求；通过代理(一对多)访问，客户端通常使用DistributedFileSystemAPI访问HDFS。第一种情况，由namenode内嵌的web服务器（运行在50070端口上）提供目录服务，目录列表以XML或者
原创
2022-06-10 20:00:37
158阅读
HDFS1.HDFS 概述1.1 HDFS 产出背景及定义1.1.1 HDFS 产生背景1.1.2 HDFS 定义1.2 HDFS 优缺点1.2.1 优点1.2.2 缺点1.3 HDFS 组成架构1.4 HDFS文件块大小2.HDFS的Shell操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS 直接操作3
转载
2023-10-16 12:54:51
54阅读
前面写了Linux的Hadoop集群搭建，现在需要把Lniux与eclipes连接起来。完成一些简单常用的api。搭建外部客户端：1、配置环境变量 1.1 配置jdk的环境变量 1.2 配置hadoop的环境变量 变量名：HADOOP_HOME 路径： 1.3修改Path %HADOOP_HOME%\bin 1.4修改系统用户名 在系统变量中新建HADOOP_USER_NAME 值为root 2、
转载
2024-04-16 22:03:56
246阅读
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataNode上面，对于开发者来说是透明的。 1、获取文件
转载
2023-07-12 10:09:53
51阅读
# HDFS的Python接口实现指南
## 引言
Hadoop分布式文件系统（HDFS）是一个用于存储大规模数据的分布式文件系统。Python为我们提供了与HDFS进行交互的接口，使得数据科学家和开发者可以灵活地操作大数据。在本文中，我们将通过几个步骤来实现HDFS的Python接口，帮助初学者掌握基础。
## 实现流程
我们将通过以下步骤来实现HDFS的Python接口，具体流程请参考
原创
2024-09-12 07:10:16
44阅读
1 : 上传本地文件到HDFS@Test
public void testUpload() throws Exception {
Configuration conf = new Configuration();
//默认值，可以不设置
conf.set("dfs.blocksize", "128m");
// 1.先获取一个访问HDFS的客户端对象
// 参数1
转载
2024-07-16 08:32:03
57阅读
1、HDFS的JAVA API操作HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。2、搭建开发环境2.1创建Maven工程引入pom依赖<dependencies>
<dependency>
<groupId>
转载
2024-01-26 09:52:29
61阅读
1.读流程 1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信，校验是否有权限是否存在，假如都ok，返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象； 1.2、Clinet调用FSDataInputStream.read方法。 a.与第一个块的
转载
2024-03-12 14:32:07
29阅读
HDFS读写文件是一个很重要的过程，然后本篇文章主要从源码角度讲解HDFS读写文件客户端的一系列操作，为了方便大家理解，我画了一张简要的流程图，方便大家理解。一段简要的读写代码如下：public static void main(String[] args) throws Exception {
String file = "/test/1111.txt";
Configuration
转载
2024-04-14 11:11:28
29阅读
摘要：终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作，也算是一个好的开端。
华为云社区《hdfs源码解析之客户端写数据》，作者： dayu_dls。在我们客户端写数据的代码大致如下：Configuration conf = new Configuration（）；
conf.set("fs.defaultFS","hdfs://172.16.40.119:8020");
转载
2024-04-30 16:32:02
32阅读
上一篇讲到了namenode的格式化，格式化方法中有FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);
try {
FSNamesystem fsn = new FSNamesystem(conf, fsImage); 今天主要讲讲FSImage ，FSNamesystem 分别在（1
转载
2024-06-27 20:37:44
25阅读
DataTransferProtocolDataTransferProtocol是用来描述写入或者读出Datanode上数据的基于TCP的流式接口，HDFS客户端与Datanode以及Datanode与Datanode之间的数据块的传输就是基于DataTransferProtocol接口实现的。HDFS没有采用Hadoop RPC来实现HDFS文件的读写功能，是因为Hadoop RPC框架的效率目
转载
2024-03-01 13:30:59
137阅读
1.需求 根据GDAL2.4.0的更新说明，从该版本开始GDAL支持对HDFS存储的影像数据的读取，但是目前发布的prebuilt版本均没有提供此功能，因此需要从源代码重新编译。 2.环境 CentOS 7 , GDAL 2.4.0 , hadoop 2.9.2 3.编译准备 3.1源代码下载 GD
原创
2021-12-23 15:54:31
434阅读
