今天看尚硅谷大海哥的hadoop课程，学习了 HDFS API 的常规操作，虽然很简单，但是对于我这个门外汉来说，这些都属于全新的领域，掌握之后感觉非常的开心，特此记录一下。IntelliJ IDEA java 开发用到的几个快捷键ctrl+p 提示参数信息（入参）Alt+回车 抛出异常（处理红色下划线）ctrl+Alt+F 设置全局变量（方法间变量共用）ctrl+Alt+L 美化代码().var
转载
2024-08-15 13:08:02
53阅读
## Python获取HDFS大小的流程
为了让小白开发者能够理解如何通过Python获取HDFS的大小，我们可以按照以下步骤进行说明：
1. 连接到HDFS：首先，我们需要使用Python的hdfs库连接到HDFS。这个库提供了许多与HDFS交互的功能。可以使用以下代码安装hdfs库：
```markdown
pip install hdfs
```
2. 验证连接：一旦成功安装了hdf
原创
2023-09-01 07:37:24
156阅读
第一步;请求下载文件/user/atguigw/ss.av会带着这个路径向NameNode发送请求 第二步;Namenode接受到请求之后会先判新该用户是否有权限，读取的文件是否存在，如果都无误的话他会将文件的元数据也就是文件所在 datenode节点的位置发送给客户端，再发送给容户媒一次会发送部分或者界全部的datenode节点位置，客户端得到文件，数据块的存储位置之后会调用read方法去读取数
转载
2023-09-29 10:09:22
72阅读
HDFS的API操作、HDFS的高可用机制以及Hadoop的联邦机制。HDFS的API操作环境准备1 拷贝hadoop2.7.5至无空格无中文的路径下。2 配置环境变量并添加至path中。3 将hadoop2.7.5/bin下的hadoop.dll添加至C:\Windows\System32下。4 重启系统5 在IDEA中新建项目导入依赖：<?xml version="1.0" e
转载
2024-06-22 13:48:25
35阅读
一、通过 java.net.URL1.在ubuntu下打开eclipse2.创建项目3.导入hadoop所有jar包 Build Path --->Configure Build Path ---> Add External JARs --->FileSystem --->mnt ---> hgfs --->share for l
转载
2024-10-24 19:20:27
22阅读
title: Java API访问HDFS集群（HA）date: 2021-06-23 17:06:11tags:HDFShadoopV2版本及以后都是HA架构，active namenode和standby namenode, 当前active namenode 出现问题之后，zkfc会切换standby namenode 为active 状态保证hadoop集群正常运行，所以java api需要通过配置HA的方式来访问hdfs集群对于namenode是HA高可用集群时，客户端远程.
原创
2021-07-02 09:51:49
1449阅读
title: Java API访问HDFS集群（HA）date: 2021-06-23 17:06:11tags:HDFShadoopV2版本及以后都是HA架构，active namenode和standby namenode, 当前active namenode 出现问题之后，zkfc会切换standby namenode 为active 状态保证hadoop集群正常运行，所以java api需要通过配置HA的方式来访问hdfs集群对于namenode是HA高可用集群时，客户端远程.
原创
2022-01-19 10:41:07
398阅读
## Java 获取Hdfs目录大小
在大数据领域中，HDFS（Hadoop Distributed File System）是一种分布式文件系统，被广泛用于存储和处理大规模数据。在实际应用中，我们常常需要获取HDFS目录的大小，以便进行容量规划、资源管理等操作。本文将介绍如何使用Java编程语言获取HDFS目录的大小，并提供相应的代码示例。
### 前提条件
在编写Java代码之前，我们需
原创
2024-02-14 05:10:09
235阅读
Java获取文件或文件夹的大小
转载
2023-05-19 22:03:15
268阅读
## Java HDFS 获取文件大小
### 1. 流程图
```mermaid
journey
title Java HDFS 获取文件大小流程图
section 创建HDFS配置
创建一个Configuration对象
创建一个FileSystem对象
section 获取文件大小
使用FileSystem的getFileStatus方
原创
2023-10-13 12:43:01
352阅读
# Python获取HDFS文件大小
## 引言
在大数据领域中，Hadoop分布式文件系统（HDFS）是一种常用的文件系统，它具有高可靠性和高容错性。而Python作为一种简洁而强大的编程语言，可以通过其丰富的第三方库来操作HDFS文件系统。本文将介绍如何使用Python获取HDFS文件的大小。
## 流程图
首先，我们来看一下整个操作的流程。下面是一个简单的流程图，展示了从获取HDFS文件
原创
2023-11-28 13:29:37
111阅读
# Java获取HDFS文件大小的实现方法
## 引言
在开发过程中，我们经常需要获取HDFS（Hadoop分布式文件系统）中文件的大小信息。本文将介绍如何使用Java语言来获取HDFS文件的大小。
## 流程图
```mermaid
pie
title 获取HDFS文件大小的流程
"连接到HDFS" : 10
"打开文件" : 30
"获取文件大小" : 6
原创
2023-12-24 05:57:21
233阅读
# Java获取HDFS文件大小
## 流程概述
获取HDFS文件大小的流程可以分为以下几个步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个Hadoop配置对象 |
| 2 | 根据配置对象创建一个文件系统对象 |
| 3 | 使用文件系统对象获取文件的元数据 |
| 4 | 从元数据中获取文件的大小 |
## 代码实现
### 步骤1：创建一个Hadoo
原创
2023-07-27 12:25:35
1101阅读
HDFS结构介绍 HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动
转载
2024-03-29 09:56:26
49阅读
# HBase 获取表大小 API
在 HBase 中，表的大小是衡量数据存储量的一个重要指标。通过获取表的大小，我们可以了解到数据的存储情况，对数据的管理和优化提供有力的支持。
本文将介绍如何使用 HBase 的 API 来获取表的大小，并提供详细的代码示例。首先，我们将简要介绍 HBase 和表的概念，然后详细介绍如何使用 HBase 的 API 来获取表的大小。最后，我们将用 Merma
原创
2023-10-17 03:48:11
46阅读
二.Hadoop集群搭建本文是在《Hadoop集群搭建之Linux部分》基础上继续阐述的。本文中安装的Hadoop版本信息为：hadoop-2.8.31.HDFS核心配置本文中，在HDFS部分一些非常重要的核心参数配置如图1-1所示。对HDFS核心参数配置简述如下：namenode在主机名为cts01机器上运行；namenode存元数据的本地目录为：/root/hdpdata/name/；data
转载
2023-10-27 16:51:28
78阅读
## Java如何获取HDFS文件大小
HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，是一个分布式文件系统，可用于存储大规模数据集并支持数据的并行处理。在Java中，可以使用Hadoop的Java API来操作HDFS。要获取HDFS文件的大小，可以使用`FileSystem`类和相关方法。
### 步骤一：导入依赖
首先，需要在项目的
原创
2023-10-05 10:20:17
155阅读
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* hdfs入门程序:
* 面向对象：一切皆对象
* 文件系统也可以看做是一类事物、FileSystem
*
* 一定有共同的行为和属性：
转载
2023-10-23 10:24:32
65阅读
目录一 客户端环境1.1 配置环境变量1.2 eclipse/IDEA准备二 HDFS的具体API操作2.1创建HDFS客户端对象并测试创建文件夹2.2 测试文件上传2.3 测试文件下载2.4 测试删除文件夹2.5 测试查看文件详情2.6 判断是文件夹还是文件一 客户端环境前面博客叙述了HDFS的shell操作，回顾一下：使用bin/hadoop fs  
转载
2024-03-21 15:12:42
18阅读
# 使用Python脚本获取HDFS文件大小的详细指南
在大数据处理的过程中，Hadoop分布式文件系统（HDFS）是一个常用的存储系统。了解如何查询HDFS文件的大小对维护和管理大数据处理至关重要。本文将指导你如何使用Python脚本获取HDFS文件的大小，下面是整个流程的概述。
## 流程概述
| 步骤 | 描述 |
|------|------|
| 1 | 安装所需库 |
|
原创
2024-08-15 04:52:41
134阅读
