通过shell命令访问HDFS1 操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 上传文件1.4 下载文件1.5 查看文件1.6 删除目录或文件1.7 文件或文件夹的复制、移动1.8 count统计1.9 显示占用的磁盘空间大小2 管理命令2.1 安全模式相关2.2 快照3 其他命令 HDFS shell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前
转载
2023-08-08 08:24:55
121阅读
目录一、Shell命令运行原理1.Shell 2.为什么Linux不让用户直接使用kernel二、Linux权限概念三、Linux权限管理1.文件访问的用户分类2.文件类型和访问权限 （1）文件类型 （2）访问权限3.权限的表示方法（1）字符表示法 （2）八进制表示法 4.权限的设置（1）chm
转载
2024-10-25 20:47:39
26阅读
一、HDFS的来源简介（自己的理解）理解：因为数据量越来越大，单台服务器已经承受不了那么大的数据量，所以很自然就会想到使用多台机器共同来存放数据，但是这样就会存在多台机器中数据的管理问题，因此分布式的文件系统HDFS就诞生了，HDFS文件系统相当于一个管理者，让多台存储数据的机器在用户面前像是透明的一样，就像在操作一台存储数据的服务器一样，这里再往深入的考虑的话，就是相当于把多台存储着
转载
2024-03-29 13:27:58
43阅读
提前准备 1、准备四台centos服务器（一个wmware启动四个服务器就行） 2、关闭防火墙 3、配置静态ip
HDFS 体系架构
1,HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的
2,NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。
3,DataNode（数据节点）：系统中通常有多
转载
2024-05-11 19:22:53
21阅读
附：HDFS shell guide文档地址http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs
转载
2024-03-22 15:16:44
297阅读
使用Java代码连接HDFS的流程可以分为以下几个步骤：
1. 引入Hadoop依赖
2. 配置Hadoop的相关参数
3. 创建一个Configuration对象
4. 创建一个FileSystem对象
5. 执行HDFS相关操作
下面是每一步需要做的具体操作和代码示例：
### 1. 引入Hadoop依赖
首先，在你的Java项目中需要引入Hadoop的相关依赖，以便能够使用Hadoo
原创
2023-09-29 16:38:57
511阅读
-1. namenode守护进程尽可能的单独部署在一台硬件性能相对来说比较好的机器中。 -2. 其他的每台机器上都会部署一个datanode守护进程，一般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同一台机器上。#### **2 平台软件说明**操作系统: win10/win7虚拟软件: VMware14虚拟机: 主机名 IP master 19
No.1. SSH（Secure Shell）安全外壳协议建立在应用层基础上的安全协议可靠，专为远程登录会话和其他网络服务提供安全性的协议有效防止远程管理过程中的信息泄漏问题SSH客户端适用于多种平台SSH服务器端几乎支持所有Unix平台 No.2. 服务器安装SSH服务（一般默认已安装）安装命令：yum -y install openssh-serve
转载
2024-04-26 12:52:17
66阅读
启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src&
转载
2024-02-12 21:26:00
78阅读
在Linux操作系统中，软连接是一种非常有用的功能，可以让用户在不改变文件实际位置的情况下，创建一个指向该文件的快捷方式。在Linux中，软连接也被称为符号链接，通过软连接可以方便地引用其他文件或目录。
对于Linux用户来说，使用软连接可以很方便地管理文件和目录，同时可以节省一定的存储空间。而在Linux的Shell脚本中，软连接的使用也是非常常见的，可以帮助用户更加灵活地操作文件和目录。
原创
2024-04-17 10:31:24
218阅读
此处我们通过命令行，简单的学习一下 `hdfs file system shell ` 的一些操作。
原创
2023-03-01 12:41:04
136阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
2 HDFS的API操作2.1 HDFS文件上传（测试参数优先级）．编写源代码 // 文件上传
@Test
public void testPut() throws Exception {
Configuration conf = new Configuration();
conf.set("dfs.replication", "2");
转载
2024-03-22 09:45:44
38阅读
一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R
原创
2021-07-14 11:36:09
800阅读
详解Shell排序 -秒懂点关注不迷路，欢迎再访！精简博客内容，尽量已专业术语来分享。 努力做到对每一位认可自己的读者负责。 帮助别人的同时更是丰富自己的良机。前面介绍的冒泡排序算法、选择排序算法和插入排序算法，虽然思路比较直观，但是排序的效率比较低。对于大量的数据需要排序时，往往需要寻求其他更为高效的排序算法。Shell排序算法便是其中的一种。Shell排序算法严格来说基于插入排序的思路，其又称
# 使用keytab连接HDFS的Java代码实现
## 整体流程
下面是使用Java代码实现使用keytab连接HDFS的整体流程。我们将使用Kerberos认证来连接HDFS。
```mermaid
stateDiagram
[*] --> 获取Keytab和Principal
获取Keytab和Principal --> 创建Configuration对象
创建
原创
2023-09-29 09:26:15
472阅读
创建客户端java项目，实现以下功能： ① 通过api 连接 hdfs; 熟悉不同的连接方式以及优先级 ② 实现文件上传； ③ 实现文件下载； ④ 了解其他文件管理的方法。 ⑤ 在编程的过程中，简单了解客户端项目的创建：maven 项目；本地jar包项目a. 创建maven项目， File —> Project ----> maven (2020 版本默认已安装maven组件)b. 修
转载
2023-10-10 07:00:37
696阅读
`
原创
2022-12-28 15:25:39
143阅读
随着社会进步越来越快，人们的生活水平也在不断提高了，并且人们对精神物质追求也是越来越高了，而现在对于大部分朋友来说最大的精神物质就是能够上网，到哪里手机都可以连接无线。而对于tplink无线扩展器的设置，我想很多的朋友都是不知道的，下面小编就给大家分享有关于tplink无线扩展器怎么设置，希望我们的分享内容可以帮助到大家。tplink无线扩展器怎么设置设置主路由器确定SSID并固定信道登录主路由器
转载
2024-08-07 15:49:47
55阅读
