承接上文Hdfs客户端读过程；接着来分析一下hdfs客户端写入文件的过程；说道到写文件过程，都会知道写入文件的过程如下示意图：客户端写过程示意图：总体来说，最简单的HDFS写文件大体流程如下：客户端获取文件系统实例FileSyStem，并通过其create()方法获取文件系统输出流outputStream。
首先会联系名字节点NameNo
转载
2024-04-26 12:51:58
62阅读
下图显示了HDFS文件系统中路径为“localhost:50070/explorer.html#/user/hadoop”的目录中所有的文件信息： 对于该目录下的所有文件，我们将执行以下操作： 首先，从该目录中过滤出所有后缀名不为".abc"的文件。 然后，对过滤之后的文件进行读取。 最后，将这些文
转载
2019-01-04 19:48:00
359阅读
2评论
# Hadoop3.3.5 HDFS编程实例教程
## 概述
本文将教会你如何使用Hadoop3.3.5进行HDFS编程。HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，用于存储和管理大规模数据集。
在本教程中，我们将按照以下步骤进行HDFS编程实例：
1. 环境设置
2. 创建一个Java项目
3. 导入Hadoop依赖
4. HDFS操
原创
2023-09-10 14:14:01
164阅读
1、HDFS的写流程客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode返回是否可以上传。客户端请求第一个 Block上传到哪几个DataNode服务器上。NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。客户端通过FSDataOutputStream模块请求dn
转载
2024-04-30 10:48:49
43阅读
hdfs有很多命令，比如说hdfs dfs -ls，hdfs dfs -put， hdfs dfs -mkdir，hdfs dfs -cat，hdfs dfs -rm等等，一般操作hdfs都是通过hdfs的命令行进行操作。其实这些命令行的底层都是通过java代码来支撑的，再比如启动和关闭hdfs都是通过脚本来启动，这些脚本底层肯定都是通过代码来支撑的。 举例：有时候需要把本地文件上传到hdfs，直
转载
2024-03-19 16:35:52
16阅读
目录利用Shell命令与HDFS进行交互目录操作文件操作利用Web界面管理HDFS利用Java API与HDFS进行交互安装Eclipse使用Eclipse开发调试HDFS Java程序在Eclipse中创建项目为项目添加需要用到的JAR包编写Java应用程序编译运行程序应用程序的部署 利用Shell命令与HDFS进行交互启动Hadoop：$ cd /usr/local/hadoop
$ ./s
转载
2024-03-27 13:50:01
111阅读
转载
2019-07-26 15:09:00
158阅读
2评论
package hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;i
原创
2022-07-19 11:33:15
78阅读
HDFS的读写数据流详细分析4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 源码解析4.1.3 网络拓扑-节点距离计算4.1.4 机架感知（副本存储节点选择）4.2 HDFS读数据流程 4.1 HDFS写数据流程4.1.1 剖析文件写入（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存
转载
2024-04-19 18:16:11
6阅读
最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
hadoop是用Java语言实现的开源软件框架，可以支持多种语言，我学习的时候用得自然就是Java了。 在开始编程之前需要做一些配置工作： Hadoop开发：Hadoop为HDFS和Mapreduce提供了基础的支持，叫hadoop common。Hadoop有一个专门的common jar包，需要
转载
2019-01-03 16:10:00
61阅读
2评论
JMX_Expoter监控因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。监控 对于一个集群管理平台，首当其冲的就是其中的监控如何实现，毕竟很多时候我们打开它只是因为邮箱里收到了报警:-)，那么我们应该如何获取Hadoop等集群的信息呢？这时候需要简单了解一个知识点了：JMX。 我们简单介绍一下Java的JMX是什么，JMX全程叫做Java
转载
2024-01-15 03:12:10
73阅读
上次学习的是HDFS基于Shell命令行的模式.HDFS JAVA APIHDFS支持JVA的接口，利用JAVA API 中的库来读写HDFS中的文件例子: 使用HadoopURL读取数据 1. java.net.URL打开一个数据输入流inputStream in = null;
try {
in = new URL( "hdfs:namenode/path" ).openStream();
转载
2024-04-06 11:28:42
39阅读
通过前面对HDFS基本概念、高可用性、数据读写流程的介绍，我们对HDFS已经有了大致的了解。这里我们还需要明确一点：Hadoop作为一个完整的分布式系统，它有一个抽象的文件系统的概念，而我们介绍的HDFS只是其中的一个实现，一个最常用的实现，实际上还有很多其他的分布式文件系统。 Hadoop对文件系统提供了很多接口，一般使用URI（统一资源定位符）来表示选取的文件系统具体是哪一个，比如file
转载
2024-05-13 09:05:31
30阅读
HDFS API操作实验环境Linux Ubuntu 16.04 前提条件： 1）Java 运行环境部署完成 2）Hadoop 的单点部署完成 上述前提条件，我们已经为你准备就绪了。实验内容在上述前提条件下，学习使用HDFS Java API编程实验。实验步骤1.点击桌面的"命令行终端"，打开新的命令行窗口2.启动HDFS启动HDFS，在命令行窗口输入下面的命令：/apps/hadoop/sbin
转载
2024-05-22 11:01:12
15阅读
1.流式数据访问HDFS的构建思想是这样的：一次写入，多次读取是最高效的访问模式。数据集通常有数据源生成或从数据源复制而来，接着长时间在此数据集上进行各类分析。每次分析都将设计数据集的大部分数据甚至全部，因此读取整个数据集的时间延迟比读取第一条数据的时间延迟更重要。2.关于时间延迟的数据访问要求低时间延迟数据访问的应用，例如几十毫秒的范围，不适合在HDFS上运行，记住，HDFS是为高数据吞吐量应用
转载
2024-06-18 07:27:17
43阅读
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容 ...
转载
2021-11-02 17:47:00
83阅读
2评论
一、HDFS命令行操作1、基本语法[root@hadoop102 hadoop-2.7.2]# bin/hadoop fs 具体命令2、常用命令实操 （1）-help：输出这个命令参数[root@hadoop102 hadoop-2.7.2]# bin/hdfs dfs -help rm（2）-ls: 显示目录信息[root@hadoop102 hadoop-2.7.2]# hadoop fs -
转载
2023-10-18 19:29:59
62阅读
HDFS API的高级编程HDFS的API就两个：FileSystem 和Configuration1、文件的上传和下载1 package com.ghgj.hdfs.api;
2
3 import org.apache.hadoop.conf.Configuration;
4 import org.apache.hadoop.fs.FileSystem;
5 import org.ap
转载
2023-07-11 18:47:41
203阅读
目录前言基础操作hdfs操作总结一、前言 作为一个全栈工程师，必须要熟练掌握各种语言。。。HelloWorld。最近就被“逼着”走向了python开发之路，大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中，所以基本上python的相关知识都涉及到了，这里对一些基础操作以及hdfs操作做一总结，以备查阅。二、基础操
转载
2024-06-21 21:50:48
180阅读
