hdfs： Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容 ...
转载
2021-10-22 11:05:00
181阅读
2评论
# Java HDFS工具类
HDFS（Hadoop Distributed File System）是Hadoop生态系统的关键组件之一，它提供了一个分布式文件系统，能够高效地存储和处理大规模数据。在Java应用程序中，我们可以使用HDFS工具类来操作HDFS文件系统，实现文件的上传、下载、删除等功能。
## HDFS工具类介绍
HDFS工具类是一个封装了HDFS操作的Java类，它提供了
原创
2023-12-16 05:26:43
97阅读
一、新课讲解由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。 （一）了解 HDFS API1.HDFS常见类与接口Hadoop
转载
2023-09-06 10:34:18
91阅读
前言记录springboot集成hadoop3.2.4版本，并且调用HDFS的相关接口，这里就不展示springboot工程的建立了，这个你们自己去建工程很多教程。一、springboot配置文件修改1.1 pom文件修改<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.
转载
2023-07-28 13:25:13
304阅读
package hdpAction;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.Filet j...
原创
2023-01-10 00:12:40
151阅读
HDFS的Java API Java API介绍将详细介绍HDFS Java API，一下节再演示更多应用。Java API 官网Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/docs/r2.7.3/api/index.html如上图所示，Java API页面分为了三部分，左上角是包（Packages）窗口，左下角是所有类（All
转载
2023-07-11 18:47:53
74阅读
作者：livan 前面我们用几篇文章的时间整理了一下小数据集的情况下数据分析的常用工具，主要是为了梳理分析过程中的主线条，但是，随着数据的增加，pandas这样的数据结构只会越来越慢，取而代之的是hadoop和spark这种大数据环境下的分析工具，接下来几篇我们会从大数据的角度，分析pyspark、SQL的常用技巧和优化方法，本文的重点是讲解HDFS的
转载
2024-05-09 20:28:57
43阅读
1、概要hdfs由namenode和datanode组成，前者负责管理文件系统元数据，后者负责存储具体数据。hdfs支持类shell的命令行直接与其交互。hdfs的主要特性包括：1、文件权限和认证；2、机架敏感，在分配tasks和存储时会考虑到机架；3、安全模式，维护中用到的一种管理模式；4、fsck，一个检测文件系统健康的工具，可以查找丢失的文件或blocks；5、fetchdt，一个用于获取D
转载
2024-04-20 14:36:03
45阅读
本文以Loadrunner的Java_Vuser脚本为例，来做一次HDFS的文件操作测试，由于LoadRunner 11只支持JDK1.6，所以Hadoop选择的Jar包也只能用Hadoop2.6.0，但是这不影响连接高版本的hadoop-HDFS（本次测试就实现了连接操作hadoop2.7下HDFS）。1、在loadrunner中新建脚本（本文以LoadRunner11为例），要求选择协议类型为
转载
2024-09-06 14:48:30
60阅读
大数据连接工具及使用
原创
精选
2022-11-23 10:59:16
1596阅读
点赞
转载添加链接描述上面是原作者,我在他的基础上进行了小小的修改,然后就是文件地址替换成我自己百度网盘登录的就写什么,如果是root用户就写root.内容...
原创
2022-09-23 22:13:23
390阅读
在《HDFS源码分析心跳汇报之BPServiceActor工作线程运行流程》一文中，我们详细了解了数据节点DataNode周期性发送心跳给名字节点NameNode的BPServiceActor工作线程，了解了它实现心跳的大体流程： 1、与NameNode握手： &
转载
2024-04-28 21:07:58
202阅读
spark写入csv到hdfs
原创
2022-11-02 15:09:54
270阅读
本文是慕课网大数据学习的笔记加总结：目录：一、HDFS环境搭建—伪分布式搭建二、HDFS的shell命令三、java操作HDFS开发环境搭建四、java API操作HDFS文件系统一、HDF
转载
2024-07-23 11:31:38
59阅读
需求1：在windows的idea中连接虚拟机cdh集群的hdfs和hive在windows中的idea中直接把spark程序的master设为local，然后连接虚拟机中的hdfs和hive。这是目前最方便的测试方式，不需要打包程序然后上传再运行，随改随运行。一些文章中所谓的单机版spark只是在官网下载了带hadoop(spark运行必须要有hadoop以及相关依赖)的spark然后安装到li
转载
2024-04-22 10:08:52
271阅读
Hadoop 大数据平台运维工程师须掌握的基本命令 1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
$ bin/hadoop job -history output-dir #这条命令会显示作
前言这段时间学习大数据工具，hdfs 很好用，命令行也算比较简单。但是嘛，懒人推动社会的发展。再windows 下不想切换到终端
原创
2023-07-28 10:10:41
211阅读
HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具。HDFS操作之一：hdfs命令行操作 另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。 要在java工程中操作hdfs，需要引入一下jar包，我的maven工程中的pom.xml文件中增加如下几个依赖： <depen
转载
2024-05-13 19:06:57
39阅读
HDFS Python API目录1：安装2：Client——创建集群连接3：dir——查看支持的方法4：status——获取路径的具体信息5：list——获取指定路径的子目录信息6：makedirs——创建目录7: rename—重命名8：delete—删除9：upload——上传数据10：download——下载11：read——读取文件问题：Map.py:Reduce.py:Run.sh:
转载
2023-08-30 10:47:16
104阅读
HDFS(HadoopDistributedFileSystem)：Hadoop分布式文件存储系统。分布式文件存储系统 分布式文件存储系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等，各用于不同的领域。HDFS是一个主从结构，一
转载
2023-11-25 12:35:49
77阅读
