上传下载hdfs文件递归删除hdfs指定文件夹目录package com.cc.api1.hdfsapi;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org
转载
2024-05-22 18:45:52
41阅读
腾讯游戏CROS体系的DBA维护着多套互娱数据平台的核心HDFS集群，积累了不少维护经验。1. 定期block全盘扫描，引起dn心跳超时而脱离集群hdfs有一个目录扫描机制，默认6小时会全盘扫描一次所有block，判断与内存里的那份blockMap是否一致。参考https://blog.cloudera.com/hdfs-datanode-scanners-and-disk-checker-exp
转载
2024-05-08 21:13:23
69阅读
实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的Shell命令熟悉HDFS操作常用的Java API【不懂知识点】Linux终端操作，常常看见 cd /usr 中的usr和user有什么区别？
转载
2024-05-27 12:35:32
206阅读
概述：HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)NameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本，并存放在不同的datanode上Datanod
转载
2024-04-28 14:44:03
31阅读
FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file 。其中scheme和 auth
转载
2024-05-21 15:06:34
55阅读
HDFS结构介绍 HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动
转载
2024-03-29 09:56:26
49阅读
HDFS 的Java API操作1、环境搭建基于Linux的Hadoop（2.7.4）集群 windowsp平台的hadoop JDK hadoop和jdk的环境变量 IDEA2、下载windowsp平台的hadoop，版本要与Linux下的一致可以使用下载的Linux平台的Hadoop解压。然后在/bin目录下添加Windows相关依赖winutils.exe、winutils.pdb、hado
转载
2023-07-18 11:39:28
60阅读
ls格式：hdfs dfs -ls URI 作用：查看指定路径下的文件（和 linux 的 ls一样）[hadoop@master ~]$ hdfs dfs -ls /
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2021-07-25 16:34 /hbase
drwx-wx-wx - hadoop supergroup
转载
2024-04-24 11:39:57
56阅读
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* hdfs入门程序:
* 面向对象：一切皆对象
* 文件系统也可以看做是一类事物、FileSystem
*
* 一定有共同的行为和属性：
转载
2023-10-23 10:24:32
65阅读
目录一 客户端环境1.1 配置环境变量1.2 eclipse/IDEA准备二 HDFS的具体API操作2.1创建HDFS客户端对象并测试创建文件夹2.2 测试文件上传2.3 测试文件下载2.4 测试删除文件夹2.5 测试查看文件详情2.6 判断是文件夹还是文件一 客户端环境前面博客叙述了HDFS的shell操作，回顾一下：使用bin/hadoop fs  
转载
2024-03-21 15:12:42
18阅读
HDFS API的高级编程HDFS的API就两个：FileSystem 和Configuration1、文件的上传和下载1 package com.ghgj.hdfs.api;
2
3 import org.apache.hadoop.conf.Configuration;
4 import org.apache.hadoop.fs.FileSystem;
5 import org.ap
转载
2023-07-11 18:47:41
203阅读
作者：余枫1文档编写目的Fayson在前面的文章《0598-6.2.0-如何基于FTP的方式访问CDH中HDFS文件系统》介绍了使用Maven编译hdfs-over-ftp并部署实现通过FTP的方式访问CDH集群。前面文章需要在有网络和Maven的环境下启动服务，为了满足离线环境下使用FTP服务访问CDH，本篇文章主要介绍如何将hdfs-over-ftp工程打包为一个可离线部署的服务。测试环境1.
转载
2024-04-14 11:37:08
97阅读
1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, scalable, and extremely simple to expand. MapRedu
转载
2024-05-22 21:03:15
64阅读
目录访问1 通过命令行使用HDFS2 应用编程接口Native JAVA API：C API for HDFS：WebHDFS REST API：3 HDFS NFS Gateway4 其他Apache FlumeApache Sqoop应用 访问1 通过命令行使用HDFS通过bin/hdfs调用user命令(移动数据、获取文件信息等)查看指定目录下内容hdfs dfs –ls [文件目录]
h
转载
2023-12-05 22:26:16
111阅读
看着书尝试安装一下Hadoop服务遇到了如下报错：ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.处理：在/usr/local/hadoop-3.0.2/sbin/start-dfs.sh中添加报错中的“HDFS_NAMENODE_U
原创
2018-07-14 12:55:16
10000+阅读
语法：useradd [选项] 用户名 选项： -d<登陆目录> 指定新用户登陆的起始目录，默认为/home -e<有效期限> 指定用户的有效期限，格式为 YYYY-MM-DD -g<用户组> 指定用户所属的组 -p<密码> 为新用户设置密码 -r 建立系统用户 PS:1.创建一个新用户 frisen，设定登录起始目录为/home/guest，密码
# Docker 指定用户
在 Docker 中，默认情况下，容器内的进程会以 root 用户的身份运行。然而，以 root 身份运行容器可能会带来一些安全风险。为了增加容器的安全性，可以使用 `user` 指令来指定容器内进程的运行用户。
## user 指令
`user` 指令用于指定容器内进程的用户和用户组。语法如下：
```Dockerfile
USER [:] or [:]
``
原创
2023-12-16 05:54:17
106阅读
何为 systemd？systemd 是一个 Linux 下的系统和会话管理器，与 SysV 和 LSB 启动脚本兼容。systemd 提供了积极的并行处理能力，使用套接字（socket）和 D-bus 的激活启动服务，可使守护进程按需启动，使用 Linux 的 cgroups 保持对进程的追踪，支持对于系统状态的备份与恢复，维护手动和自动挂载点，实现了基于依赖关系的可执行服务控制逻辑。更多信息可
HDFS API详解2012-09-06 13:59:13| 分类： hadoop | 标签：hdfs api |举报|字号 订阅 Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文
转载
2023-09-15 15:35:13
98阅读
今天看尚硅谷大海哥的hadoop课程，学习了 HDFS API 的常规操作，虽然很简单，但是对于我这个门外汉来说，这些都属于全新的领域，掌握之后感觉非常的开心，特此记录一下。IntelliJ IDEA java 开发用到的几个快捷键ctrl+p 提示参数信息（入参）Alt+回车 抛出异常（处理红色下划线）ctrl+Alt+F 设置全局变量（方法间变量共用）ctrl+Alt+L 美化代码().var
转载
2024-08-15 13:08:02
53阅读
