1.使用sparkshell编写1.启动spark-shell[root@linux01 spark-3.0.1-bin-hadoop3.2]# ./bin/spark-shell --master spark://linux01:70772.编写shell语句scala> sc.textFile("hdfs://linux01:8020/data").flatMap(_.split(" "
转载
2023-08-20 09:38:25
66阅读
一、需求：要删除hdfs上指定的文件夹（该文件夹没有下级子文件夹）先判断指定文件夹是否有下级子文件夹，有的话不删除，没有的话进行删除二、问题解决历程1、一开始通过HttpFS的webhdfs接口请求，返回：(3) <url> malformed，提示url不正确。 为了验证是否是url的问题，发现当前通过代码得到要操作的目录与另一个地方调
转载
2024-09-26 08:10:40
22阅读
注意:下面的所有代码都是在linux的eclipse中进行编写。 1.首先测试从hdfs中下载文件: 下载文件的代码:(将hdfs://localhost:9000/jdk-7u65-linux-i586.tar.gz文件下载到本地/opt/download/doload.tgz) 直接运行报错:
原创
2021-07-14 15:57:14
422阅读
HDFS JAVA客户端
原创
2022-12-09 11:37:20
79阅读
1. 创建文件夹工程的test包中java->com.imooc.bigdata->hadoop.hdfs.HD系统 * 1)创建Config
原创
2022-11-30 19:23:56
330阅读
HDFS是一种文件系统，专为MapReduce这类框架下的大规模分布式数据处理而设计。你可以把一个大数据
原创
2022-06-20 11:58:16
4825阅读
Hadoop基础 HDFS的Java客户端编写 目录 补充：Eclipse自动补全快捷键一：导入jar包 （一）定义用户依赖库 （二）导入 hdfs基础jar包 （三）导入hdfs基础jar包所依赖的库 （四）导入公共jar包 （五）导入公共jar包所需lib库 （六）：创建类二：实现下载文件 （一
转载
2021-01-18 13:48:00
88阅读
2评论
补充：Eclipse自动补全快捷键 在Windows下自动补全快捷键是Alt+/ 在Linux下自动补全快捷键是ctrl+空格 一：导入jar包 （一）定义用户依赖库 （二）导入 hdfs基础jar包 （三）导入hdfs基础jar包所依赖的库 （四）导入公共jar包 （五）导入公共jar包所需lib
转载
2020-02-15 15:22:00
198阅读
2评论
## 编写JAVA程序，在hdfs文件系统创建文件
### 1. 流程概述
为了在HDFS文件系统中创建文件，我们需要按照以下步骤进行操作：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 连接到HDFS | 通过Hadoop的Java API连接到HDFS |
| 2. 创建配置对象 | 创建一个Configuration对象来指定Hadoop集群的配置 |
| 3. 获
原创
2023-09-03 12:35:05
71阅读
最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
新建Java Project;
1，右击项目，属性，Java Build Path，Libraries，Add External JARs（haddopp根目录下的所以jar）；
2，做一下项目关联，关联之前用eclipse看源码的那个项目，这样没什么其他的作用，就是为了要看源码，可以直
接点过来。 右击项目，属性，Java Build Pat
转载
2023-06-14 17:14:36
90阅读
# 使用Java上传文件到HDFS的步骤指南
Hadoop HDFS（分布式文件系统）是处理大数据的强大工具之一。如果你想要将文件上传到HDFS，首先需要掌握一些基本的步骤和相应的Java代码示例。本文将为你详细讲解如何实现Java HDFS文件上传。
## 上传文件到HDFS的流程
下表展示了上传文件到HDFS的主要流程：
| 步骤 | 描述
原创
2024-09-11 07:00:31
200阅读
## 编写Java程序，在HDFS文件系统中创建文件
### 流程图
```mermaid
flowchart TD
A(开始) --> B(导入Hadoop库)
B --> C(创建Configuration对象)
C --> D(创建FileSystem对象)
D --> E(构建文件路径)
E --> F(创建文件)
F --> G(关闭F
原创
2023-08-23 11:04:47
69阅读
# 用Java实现HDFS上两个文件的连接
在现代大数据处理中，Hadoop分布式文件系统（HDFS）是存储和管理大数据的重要工具。连接HDFS上两个文件的操作是日常开发中的常见任务。本文将一步一步展示如何使用Java来实现这一目标。
## 流程概述
在进行HDFS文件连接之前，我们需要按以下步骤进行操作：
| 步骤 | 描述 |
| -
# 编写Java程序在HDFS文件系统中创建文件
Hadoop分布式文件系统（HDFS）是一个可扩展的、可靠的和高性能的分布式文件系统，用于存储和处理大规模数据集。本文将介绍如何使用Java编写程序在HDFS文件系统中创建文件，并提供相应的代码示例。
## HDFS文件系统简介
HDFS是Hadoop生态系统的一部分，它将数据存储在分布式环境中，通过将数据分散在多个节点上提供高容错性和高可扩
原创
2023-08-28 12:28:19
138阅读
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解
转载
2023-07-21 16:09:13
58阅读
目录（一）了解HDFS Java API1、HDFS常见类与接口2、FileSystem的常用方法（二）编写Java程序访问HDFS1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、启动集群HDFS服务5、在HDFS上创建文件6、写入HDFS文件 （1）将数据直接写入HDFS文件 （2）将本地文件写入HDFS文件7、读取HDFS文件(1）读取HDFS文件直接在控制台
转载
2024-01-23 17:39:42
66阅读
代码地址：https://github.com/zengfa1988/study/blob/master/src/main/java/com/study/hadoop/hdfs/HdfsTest.java1，导入jar包用maven构建项目，添加pom文件： <dependency>
<groupId>org.apache.hadoop</groupId&g
转载
2024-06-02 16:06:44
22阅读
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URL
org.apache.hadoop.fs.FsUrlStreamHandlerFactory
java.net.URI
org.apache.hadoop.conf.Configuration
org.ap
转载
2024-02-28 08:43:42
86阅读
自己做的一些小训练0.0public class HDFSDemo {
private Configuration conf;
private FileSystem fs;
@Before
public void before() throws Exception {
//初始化,加载hadoop默认的配置文件,如果有指定的位置,则覆盖默认的配置
conf=new Conf
转载
2023-07-15 20:43:31
79阅读
