前提条件先搭建zk环境并启动架构规划：192.168.167.82 node2 nn\zk1\zkfc192.168.167.83 node3 jn\zk2\dn192.168.167.84 node4 jn\zk3\dn192.168.167.85 node5 nn\jn\dn一、环境初始化(所有节点)1.关闭防火墙和iptablessystemc
API使用一、准备工作1.1、解压1.2、环境变量1.3、新建工程1.4、依赖包1.5、测试1.6、注意事项二、使用方法2.1、HDFS 文件上传2.2、HDFS 文件下载2.3、HDFS 文件夹删除2.4、HDFS 文件名更改2.5、HDFS 文件详情查看2.6、HDFS 文件和文件夹判断2.7、HDFS 的 I/O 流操作2.7.1 文件上传2.7.2 文件下载2.8、定位文件读取 一、准备
转载
2023-08-31 10:02:52
89阅读
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* hdfs入门程序:
* 面向对象：一切皆对象
* 文件系统也可以看做是一类事物、FileSystem
*
* 一定有共同的行为和属性：
转载
2023-10-23 10:24:32
65阅读
一、HDFS的JavaAPI操作之前我们都是用HDFS Shell来操作HDFS上的文件，现在我们通过编程的形式操作HDFS，主要就是用HDFS中提供的JavaAPI构造一个访问客户对象，然后通过客户端对象对HDFS上的文件进行相应的操作（新建、上传、下载、删除等）。1、常用的类（１）Configuration：该类的对象封装了客户端或服务器的配置（２）FileSystem：该类的对象是一个文件系
转载
2023-07-03 20:26:19
176阅读
在上篇《hadoop(01)、windows平台下hadoop环境搭建》中，实践了在windows平台下使用搭建hadoop开发环境，同时搭建完毕在基于命令行的形式对HDFS进行了基本的操作，本文我们会在搭建的hadoop的基础平台上使用JAVA API来对HDFS进行简单的操作。
一、环境准备1.windows下hadoop开发环境：参见《h
转载
2024-05-19 15:50:41
276阅读
文章目录一.概述二.搭建环境1.使用Maven构建Java程序,添加maven的依赖包2.修改hdfs-site.ml文件,添加如下配置,放开权限,重启hdfs服务3.单元测试的setUp和tearDown方法4.使用Java API操作HDFS的常用操作1)创建目录2)创建文件并写入数据3)重命名操作4)上传本地文件到HDFS5)查看某目录下的所有文件6)查看文件块信息7)下载一个文件到本地
转载
2023-08-26 08:52:52
96阅读
目录1.读取HDFS文件（java.net.URL实现）2.读取HDFS文件（Hadoop提供的FileSystem实现）3.向HDFS写入文件4.创建HDFS目录5.删除HDFS上的文件或目录6.查看HDFS文件存在7.列出HDFS目录下的文件或文件名8.查询HDFS文件存储的位置9.写入SequenceFile10.读取SequenceFile本地访问HDFS最主要的方式是HDFS提供的Jav
转载
2023-06-14 08:27:09
96阅读
HDFS的Java API Java API介绍将详细介绍HDFS Java API，一下节再演示更多应用。Java API 官网Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/docs/r2.7.3/api/index.html如上图所示，Java API页面分为了三部分，左上角是包（Packages）窗口，左下角是所有类（All
转载
2023-07-11 18:47:53
74阅读
文章目录1.使用url方式访问数据（了解）2.使用文件系统方式访问数据（掌握）（1）涉及的主要类（2）获取FileSystem的几种方式a. 第一种方式b. 斜体样式第二种方式c. 第三种方式d. 第四种方式3.遍历HDFS中所有文件使用API遍历4.HDFS上创建文件夹5.HDFS文件下载方式1：方式2：6.文件上传7.HDFS的权限访问控制（1）通过配置文件进行权限控制（2）通过伪装用户进行
转载
2023-08-18 15:08:53
69阅读
HDFS结构介绍 HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动
转载
2024-03-29 09:56:26
49阅读
1、 SAX Simple API for XML, http://www.saxproject.org 这个是最简单的API，应该熟悉或者了解。SAX使用回调模型与用户代码进行交互，与面向对象程序开发者的基本思想有点不同，被称为基于事件的编程模型。2、 DOM Document Object Model 这个API在很多方面对SAX是一种补充。什么时候选择DOM？随机访问
转载
2023-09-06 11:42:00
32阅读
hdfs-site.xml配置
原创
2017-08-17 10:36:37
2816阅读
HDFS API的高级编程HDFS的API就两个：FileSystem 和Configuration1、文件的上传和下载1 package com.ghgj.hdfs.api;
2
3 import org.apache.hadoop.conf.Configuration;
4 import org.apache.hadoop.fs.FileSystem;
5 import org.ap
转载
2023-07-11 18:47:41
203阅读
Hadoop HDFS的Java API使用https://blog.csdn.net/u010416101/article/details/88984618
原创
2021-07-19 11:29:54
529阅读
Hadoop HDFS的Java API使用
原创
2022-01-19 10:12:09
139阅读
hdfs在生产应用中主要是针对客户端的开发，从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。搭建开发环境方式一（windows环境下）：1、将官网下载的hadoop安装包解压，并记住下图所示的目录2、创建java project，右键工程--->build path--->Configure build path3、进行如
转载
2023-10-31 22:48:05
100阅读
文章目录零、学习目标一、导入新课二、新课讲解（一）了解HDFS Java API1、HDFS常见类与接口2、FileSystem的常用方法（二）编写Java程序访问HDFS1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、启动集群HDFS服务5、在HDFS上创建文件6、写入HDFS文件（1）将数据直接写入HDFS文件（2）将本地文件写入HDFS文件7、读取HDFS文件（1）读取HDFS
转载
2024-01-24 10:02:48
313阅读
基于JavaAPI对hdfs的操作通过Java API来访问HDFS，首先介绍HDFS中的文件操作主要涉及的几个类。·Configuration类：该类的对象封装了客户端或者服务器的配置。·FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法对文件进行操作。FileSystem fs=FileSystem.get(conf)；通过FileSystem的静态方法get获得该对
转载
2023-07-01 17:02:37
47阅读
上传下载hdfs文件递归删除hdfs指定文件夹目录package com.cc.api1.hdfsapi;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org
转载
2024-05-22 18:45:52
41阅读
3.1常用类3.1.1ConfigurationHadoop配置文件的管理类，该类的对象封装了客户端或者服务器的配置（配置集群时，所有的xml文件根节点都是configuration）创建一个Configuration对象时，其构造方法会默认加载hadoop中的两个配置文件，分别是hdfs-site.xml以及core-site.xml，这两个文件中会有访问hdfs所需的参数值，主要是fs.def
转载
2023-07-01 16:57:18
0阅读
