替换bin/hdfs里的相应的启动配置 如果不替换直接添加，
原创
2022-07-19 19:53:06
397阅读
HDFS一、HDFS的API操作1、客户端环境准备2、HDFS的API案例实操（1）HDFS文件上传（测试参数优先级）（2）HDFS文件下载（3） HDFS文件更名和移动（4）HDFS删除文件和目录（5）HDFS文件详情查看（6）HDFS文件和文件夹判断（7）将上述的代码全部合并在一起二、HDFS的读写流程（面试重点）1、HDFS写数据流程（1）剖析文件写入（2）网络拓扑-节点距离计算（3）机架
转载
2024-01-08 14:23:35
51阅读
新建Java Project;
1，右击项目，属性，Java Build Path，Libraries，Add External JARs（haddopp根目录下的所以jar）；
2，做一下项目关联，关联之前用eclipse看源码的那个项目，这样没什么其他的作用，就是为了要看源码，可以直
接点过来。 右击项目，属性，Java Build Pat
转载
2023-06-14 17:14:36
90阅读
最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
# 使用Java上传文件到HDFS的步骤指南
Hadoop HDFS（分布式文件系统）是处理大数据的强大工具之一。如果你想要将文件上传到HDFS，首先需要掌握一些基本的步骤和相应的Java代码示例。本文将为你详细讲解如何实现Java HDFS文件上传。
## 上传文件到HDFS的流程
下表展示了上传文件到HDFS的主要流程：
| 步骤 | 描述
原创
2024-09-11 07:00:31
200阅读
# Java操作HDFS的详细介绍
## 1. 引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。Hadoop的核心组件之一是HDFS（Hadoop Distributed File System），它是一个分布式的文件系统，用于存储大规模数据集并提供高可靠性、高容错性和高吞吐量的数据访问。
在本文中，我们将介绍如何使用Java编程语言操作HDFS。我们将讨论如何连接到HD
原创
2023-08-24 14:09:15
59阅读
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解
转载
2023-07-21 16:09:13
55阅读
Java API使用环境初始化首先完成Java开发环境准备，创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。在IDE中新建一个类，类名为HDFSApp在类中添加成员变量保存公共信息import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop
转载
2023-10-19 11:15:43
35阅读
代码地址：https://github.com/zengfa1988/study/blob/master/src/main/java/com/study/hadoop/hdfs/HdfsTest.java1，导入jar包用maven构建项目，添加pom文件： <dependency>
<groupId>org.apache.hadoop</groupId&g
转载
2024-06-02 16:06:44
22阅读
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URL
org.apache.hadoop.fs.FsUrlStreamHandlerFactory
java.net.URI
org.apache.hadoop.conf.Configuration
org.ap
转载
2024-02-28 08:43:42
83阅读
目录（一）了解HDFS Java API1、HDFS常见类与接口2、FileSystem的常用方法（二）编写Java程序访问HDFS1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、启动集群HDFS服务5、在HDFS上创建文件6、写入HDFS文件 （1）将数据直接写入HDFS文件 （2）将本地文件写入HDFS文件7、读取HDFS文件(1）读取HDFS文件直接在控制台
转载
2024-01-23 17:39:42
66阅读
自己做的一些小训练0.0public class HDFSDemo {
private Configuration conf;
private FileSystem fs;
@Before
public void before() throws Exception {
//初始化,加载hadoop默认的配置文件,如果有指定的位置,则覆盖默认的配置
conf=new Conf
转载
2023-07-15 20:43:31
79阅读
文章目录1. 检查Linux SSH服务2. 本地连接测试3. Linux 安装Cpolar4. 创建远程连接公网地址5. 公网远程连接测试6. 固定连接公网地址7. 固定地址连接测试 本文主要介绍如何在IDEA中设置远程连接服务器开发环境，并结合Cpolar内网穿透工具实现无公网远程连接，然后实现远程Linux环境进行开发。IDEA的远程开发功能，可以将本地的编译、构建、调试、运行等工作都放在
在配置了伪分布式hadoop集群后，接下来就可以写MapReduce程序，在集群中运行并且可以调试。一般来说需要将代码打成jar包，然后在hadoop集群中使用hadoop jar命令来运行，但是这样无法调试打断点，因此IDEA远程调试是有必要的。
转载
2023-07-14 06:46:03
168阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
接下来，记录下Zookeeper在Hadoop HA中相关的作用，部分内容参考文末博文。HDFS高可用Zookeeper的一个重要的应用就是实现Hadoop集群的高可用，在Hadoop 1.x版本中只有一个NameNode来负责整个集群的元数据管理，以及与client的交互，如果这个唯一的NameNode宕机，会出现单点故障，无法对外提供服务。到了Hadoop 2.0版本，出现了HA高可用解决方案
转载
2023-07-28 13:29:25
129阅读
先在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</grou ...
转载
2021-09-18 21:44:00
311阅读
2评论
Hadoop下载安装及HDFS配置教程前言Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且
转载
2023-12-12 14:46:25
43阅读
我们使用shell只进行一些简单的操作，还是用Java接口比较多。因此我们要使用Java接口的方式来操作HDFS我们new一个project 叫hadoop0106，然后再创建一个文件夹（new一个folder）叫lib，把jar包导入进去在hadoop2.2.0/share/hadoop/common 里面的三个jar包 Ctrl+c在hadoop2.2.0/share/hadoop/commo
转载
2023-12-08 23:40:00
7阅读
在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除……首先对一些类名、变量名做出解释说明：FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置！有两种实现！ LocalFileSystem： 本地文件系统 fs.defaultFS=file:/// DistributedFileSystem： 分布式
转载
2024-02-29 12:34:43
50阅读
