通过shell命令访问HDFS1 操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 上传文件1.4 下载文件1.5 查看文件1.6 删除目录或文件1.7 文件或文件夹的复制、移动1.8 count统计1.9 显示占用的磁盘空间大小2 管理命令2.1 安全模式相关2.2 快照3 其他命令 HDFS shell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前
转载
2023-08-08 08:24:55
121阅读
在Kubernetes（K8S）集群环境中实现远程访问HDFS（Hadoop Distributed File System）是一个常见的需求，本文将介绍如何通过K8S实现远程访问HDFS的步骤，并提供相应的代码示例。
### 步骤概览
以下是实现K8S远程访问HDFS的步骤概览：
| 步骤 | 操作 |
|------|------|
| 步骤一 | 创建HDFS服务 |
| 步骤二 |
原创
2024-03-29 11:28:33
179阅读
Paramiko 是 SSHv2 协议 [2] 的纯 Python [1]（2.7、3.4+）实现，提供客户端和服务器功能。Paramiko 实现了 SSH 功能集的大部分。例如运行远程 shell 命令或传输文件。paramiko是python实现的跨平台的操作模块。下面的这个demo.py用于实现通过堡垒机登录到某个ip上执行数据库的查询操作。step1 模拟ssh远程连接：step2 模拟发
转载
2022-01-19 16:59:00
128阅读
No.1. SSH（Secure Shell）安全外壳协议建立在应用层基础上的安全协议可靠，专为远程登录会话和其他网络服务提供安全性的协议有效防止远程管理过程中的信息泄漏问题SSH客户端适用于多种平台SSH服务器端几乎支持所有Unix平台 No.2. 服务器安装SSH服务（一般默认已安装）安装命令：yum -y install openssh-serve
转载
2024-04-26 12:52:17
66阅读
一、HDFS的来源简介（自己的理解）理解：因为数据量越来越大，单台服务器已经承受不了那么大的数据量，所以很自然就会想到使用多台机器共同来存放数据，但是这样就会存在多台机器中数据的管理问题，因此分布式的文件系统HDFS就诞生了，HDFS文件系统相当于一个管理者，让多台存储数据的机器在用户面前像是透明的一样，就像在操作一台存储数据的服务器一样，这里再往深入的考虑的话，就是相当于把多台存储着
转载
2024-03-29 13:27:58
43阅读
HDFS 体系架构
1,HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的
2,NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。
3,DataNode（数据节点）：系统中通常有多
转载
2024-05-11 19:22:53
27阅读
1 文档编写目的访问HDFS的方式很多，常用的有命令行方式、通过Hadoop提供的API访问、也可以通过挂载NFS的方式访问，在前面的文章Fayson也都有介绍过。本篇文章Fayson主要介绍使用FTP的方式来访问HDFS，这里介绍一个开源的小工具hdfs-over-ftp,简单易用的实现了基于FTP的方式对HDFS上文件进行上传和下载等功能。本篇文章Fayson主要介绍如何基于C6编译hdfs-
场景CentOS7上搭建Hadoop集群(入门级)在上面搭建起来Hadoop集群的基础上，通过HDFS shell的方式访问HDFS的常用命令。 HDFS的访问方式有两种:一种是HDFS shell，一种是Java API方式。HDFS shell命令应 使用hadoop fs或hdfs dfs(其中官网建议使用hdfs dfs方式访问)。所有的HDFS she
原创
2023-02-15 10:35:08
107阅读
最近学习Hadoop 时发现在本机访问 hadoop 9000 端口没有问题，但是远程机器访问 9000端口时不能访问，通过telnet 命令诊断发现发现无法访问端口，经过网上搜索解决方案结合自己实践，总结解决办法一般有以下几点。
首先，利用netstat -tpnl查看的端口开放情况
下图中9000端口只能本机访问
下图中的9000端口可以通过192.168.1.105访问
转载
2016-01-19 17:06:00
822阅读
HDFS的Shell操作命令+示例创建目录[-mkdir [-p]
…] #在分布式文件系统上创建目录 -p ，多层级创建
调用格式： hdfs dfs -mkdir (-p) /目录 例如： - hdfs dfs -mkdir /data - hdfs dfs -mkdir -p /data/a/b/c上传命令[-put [-f] [-p] [-l] … ] #将本地文件系统的文
转载
2024-03-22 06:58:01
50阅读
替换bin/hdfs里的相应的启动配置 如果不替换直接添加，
原创
2022-07-19 19:53:06
400阅读
接下来学习了HDFS读写流程，这里记录一下。HDFS-NameNode-DataNode之间的通信方式在了解HDFS读写操作前，了解到HDFS Client是运行在JVM中，它也可以叫做Client Node，这个Client可能在DataNode上，他们之间相互通信方式如上图。（1）HDFS Client和NameNode之间是RPC通信（2）NameNode和DataNode之间是RPC通信（
转载
2023-07-12 10:10:58
123阅读
启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src&
转载
2024-02-12 21:26:00
78阅读
读数据使用hadoop url读取比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流，不过在这之前先要预先调用它
转载
2022-10-10 14:26:06
68阅读
一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R
原创
2021-07-14 11:36:09
800阅读
详解Shell排序 -秒懂点关注不迷路，欢迎再访！精简博客内容，尽量已专业术语来分享。 努力做到对每一位认可自己的读者负责。 帮助别人的同时更是丰富自己的良机。前面介绍的冒泡排序算法、选择排序算法和插入排序算法，虽然思路比较直观，但是排序的效率比较低。对于大量的数据需要排序时，往往需要寻求其他更为高效的排序算法。Shell排序算法便是其中的一种。Shell排序算法严格来说基于插入排序的思路，其又称
VPN(virtual private network)虚拟专用网技术对于跨地区的企业来说，分部或者企业远程职工随时随地需要通过公用网络来访问公司内部网络资源，就像在公司内部一样，VPN无疑是个好的解决方案。因为整个网络连接既安全又方便灵活，可以相应降低公司入网的费用，增加员工与公司联系紧密度，一定程度上对公司工作效率也会有很大促进作用。
原创
2010-10-25 22:56:43
3663阅读
点赞
19评论
远程访问VPN被用来连接一个单一的远程网络设备和企业的内联网。这个单一的网络设备可能是通过电话网(PSTN)访问网络的便携式计算机，或者是通过电缆调制解调器、DSL，以及使用其他一些连接形式访问网络的远程通信计算机。
本文通过在Windows Server 2003系统上配置VPN服务器端和在Windows XP系统上配
原创
2009-09-06 22:26:43
973阅读
问题 在Windows 2019上使用远程桌面远程到 Windows 2008 服务器时遇到“发生身份验证错误。（代码：0x80004005）”。在Windows 2008上使用远程桌面远程到 Windows 2019 服务器时也是一样。环境 服务器 Windows 2019 目标服务器 Windows 2008 r2原因 2019和2008服务器不支持相同级别的加密。 在2019 加固过程中，会
`
原创
2022-12-28 15:25:39
143阅读
