K8S是一种用于自动化部署、扩展和管理容器化应用程序的开源平台。在K8S中，HDFS（Hadoop Distributed File System）是一种用于存储大规模数据的分布式文件系统。在这篇文章中，我将向你展示如何在K8S中使用命令“./bin/hdfs dfs -mkdir -p /user/hadoop”来创建一个目录。
**整体流程**
以下是实现“./bin/hdfs dfs -
原创
2024-04-30 11:38:10
102阅读
目录HDFS分布式文件系统一、HDFS命令行的操作1.1、查看根目录1.2、根目录创建文件夹1.3、父目录不存在创建文件夹1.4、递归查看目录结构1.5、创建文件1.6、修改文件夹的用户和用户组1.7、修改文件夹的权限1.8、查看文件的内容1.9、追加文件内容1.10、上传文件1.11、下载文件到本地1.12、删除文件1.13、删除目录二、HDFS的API操作2.1、文件夹的创建2.2、文件的创
转载
2024-02-10 01:32:48
57阅读
在日常的 Hadoop 管理中，使用 `hadoop dfs mkdir` 命令创建目录时，可能会遇到各种问题。这篇文章将探讨如何有效解决与 `hadoop dfs mkdir` 相关的问题，并通过实例帮助大家更深入地了解这个过程。
## 问题背景
在大数据环境下，Hadoop 经常被用于存储和处理海量的数据文件。在分布式文件系统（HDFS）中，创建目录是一个基础但重要的操作，直接影响数据组织
HDFS基本操作命令和读写原理一、基本操作命令1、创建目录 mkdir2、查看文件，ls 没有cd命令， 需要指绝对路径3、上传文件 put4、下载文件 get5、复制 cp6、查看文件内容 cat , 如果数据量比较大，不能使用7、移动 mv, 物理层面文件没有移动，只是改变了元数据（目录结构）8、删除文件或者目录 rmr8.1回收站自动清理8.2手动删除回收站8.3强制删除，-skipTra
转载
2023-07-10 23:28:56
156阅读
mkdir -p 允许一次性创建多层次的目录，而不是一次只创建单独的目
原创
2023-06-26 05:38:28
95阅读
新增将磁盘挂载到指定的目录下1.为新磁盘创建分区 fdisk -l 2. 指定磁盘创建分区 fdisk /dev/vdb
Command (m for help): n(n表示创建分区) Partition type:(表示磁盘有两种分区类型： “p”表示主分区。 “e”表示扩展分区。) (磁盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区加1个扩展分区，扩展分区不可以直接使用，需要
转载
2024-03-30 12:53:16
61阅读
作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。背景HDFS 简介HDFS 全名 Hadoop Distributed File System，是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项：和本地文
转载
2024-05-09 20:06:28
55阅读
一 原理阐述1' DFS 分布式文件系统（即DFS，Distributed File System），指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。2' HDFS HDFS（Hadoop Distributed File System）为大数据平
转载
2024-03-26 05:42:57
22阅读
好奇分布式存储是怎么实现的，如何能将一个文件存储到HDFS上，HDFS的文件目录只是一个空壳，真正存储数据的是DataNode，那么当我们把一个文件放到HDFS上的时候，集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作首先命令肯定对应着源码里面的某一个方法，这个方法是FsShell类的copyFromLocal，代码：void copyFromLocal(Pa
转载
2024-02-23 18:00:32
105阅读
一、操作 HDFS 上的文件有两个命令可以用hdfs dfs：只能操作 HDFS 上的文件Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND
where COMMAND is one of:
dfs run a filesystem command on the file sy
转载
2024-03-23 16:44:55
80阅读
## 如何使用Java实现"mkdir -p"命令
作为一名经验丰富的开发者，现在有一位刚入行的小白不知道如何在Java中实现类似于"mkdir -p"的命令。在这篇文章中，我将向你展示整个过程，并提供每一步所需的代码和注释。
### 1. 了解"mkdir -p"命令的功能
在我们开始编写代码之前，首先需要了解"mkdir -p"命令的功能。这个命令用于在给定的路径下创建多级目录，如果该目
原创
2023-07-27 14:15:23
791阅读
1. 我们采用场景驱动的方式,首先我们编写一段代码package org.apache.hadoop;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
转载
2024-04-08 15:04:22
47阅读
当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选择。 df可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件却无能为力。 du可以查看文件及文件夹的大小。 两者配合使用，非常有效。比如用df查看哪个一级目录过大，然后用df查看文件夹或文件的大小，如此便可迅速确定症结。 下面分别简要介绍 df命令可以显示目前所有文件系统的可用空间及使用情形，请看下列这个例子：[
之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。目录1. 数据持久化观察 2. HDFS文件读写观察2.1 新建文件目录 2.2 上传文件2.3 下载文件 1. 数据持久化观察 进入HaDoop页面观察其启动
转载
2024-08-16 19:15:58
131阅读
hdfs client分析：hdfs dfs -ls这一篇重点分析了hdfs client的整体执行流程，但是没有详细介绍命令调用和返回的过程，这篇通过mkdir命令来做个补充。命令：hdfs dfs -mkdir代码分析直接从Command类的run方法开始：public int run(String...argv) {
LinkedList<String> args =
转载
2024-04-05 08:30:40
68阅读
准备: 三台服务器，可用虚拟软件见3个虚拟机。 内网路由 平常的tp-link就可以--1、 创建hadoop 用户useradd hadooppasswd hadoop--2、配置hosts （3个机器都操作）只要是互通的内网及可，ip更具自己情况设定 vi /etc/hosts
192.168.2.11 hw001
192.
1. 代理对象的生成 DFS中构造方法开始： // 创建代理对象
// NameNodeProxies ：所有远程访问NameNode都必须通过它创建代理对象
proxyInfo = NameNodeProxies.createProxy(conf, nameNodeUri,
ClientPro
mkdir ： 如果上级目录不存在，则创建目录失败 mkdir -p ：递归创建目录，即使上级目录不存在，会按目录层级自动创建目录
原创
2022-08-31 23:01:36
200阅读
一.mkdir：创建目录
mkdir 目录名 #创建目录
mkdir -p 目录名1/目录名2/目录名3 #创建多层目录
二.rm：删除文件（慎用，易引发程序崩溃）
1.参数：
（1）rm 文件名 #只能删除文件，但是不能删除目录
（2）rm -i 文件名 #会出现提示
（3）rm -f 文件名 #强制删除
（4）rm -rf 目录名 #强制删除目录
三.mv：移动或重命名文
转载
2024-01-28 07:13:03
71阅读
Linux mkdir 与 mkdir -p 的区别: mkdir 上级目录不存在会报错，mkdir -p 会按目录层级递归创建
原创
2018-09-17 16:57:18
10000+阅读
