Hadoop命令查看可以访问的queuehadoop queue -showacls | grep SUBMIT
原创
2021-08-25 10:10:55
270阅读
Hadoop命令查看可以访问的queuehadoop queue -showacls | grep SUBMIT
原创
2022-01-18 17:15:31
186阅读
一、简要概述目前在工作中用到的hdfs命令大概分为以下几种： 读取文件、新建目录、移动文件、复制文件、删除目录、上传文件、下载文件、列出目录等；二、分别陈述查看HDFS目录hadoop fs -ls /查看 HDFS 中的非压缩文件的内容hadoop fs -cat /data02/data.txt修改 HDFS 中文件或目录的访问权限，-R 选项可以修改目录下的所有子目录的访问权限，执行此命令的
转载
2023-06-08 19:53:54
965阅读
在虚拟机上删除hdfs文件： 删除hdfs下的文件： hadoop fs -rm /文件夹名 删除hdfs下的文件夹：hadoop fs -rm -r 文件名 查看根目录下的内容： hadoop fs -cat /文件名 增加权限：chmod +x 文件名 ps -ef|grep 文件名 ：查看某个进程号 复制文件： cp 文件名 文件名 mv 既可以改文件名也可以移动文件（在同一台机器上可以）
转载
2023-08-30 23:59:46
93阅读
hadoop文件上传sudo-uhdfshadoopfs-put20171204/查看文件hadoopfs-ls/进入hadoop配置文件，查看vi/etc/hadoop/conf/hdfs-site.xml找到hdfs的路径dfs/nn进入路径cd/dfs/nn查看name的文件信息ls
原创
2017-12-04 12:00:06
1275阅读
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ h...
转载
2015-01-18 20:11:00
184阅读
2评论
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * *
原创
2023-01-10 11:20:59
154阅读
hadoop不适合小文件的存储，小文件本省就占用了很多的metadata，就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。采用ARCHIVE 不会减少 文件存储大小，只会压缩NAMENODE 的空间使用 Hadoop档案指南概观如何创建档案如何在档案中查找文件如何解除归档档案示例创建一个档案查找文件概述
转载
2023-07-24 13:55:39
291阅读
## Hadoop 删除文件的命令详解
### 1. 流程图
```mermaid
flowchart TD
A[连接到Hadoop集群] --> B[进入Hadoop文件系统]
B --> C[查找要删除的文件路径]
C --> D[删除文件]
D --> E[确认文件是否被成功删除]
```
### 2. 步骤及代码解释
#### 2.1 连接到Hado
原创
2023-09-18 20:36:58
735阅读
配置文件一、常用配置文件的文件core-site.xmlhdfs-site.xmlhdfs-env.shmapred-site.xmlmapred-env.shyarn-site.xmlyarn-env.shslaves二、配置文件中的内容①核心配置文件：core-site.xml[root@HadoopMaster module]# `cd /opt/module/hadoop-2.7.2/et
转载
2023-05-29 10:56:37
76阅读
Hadoop学习第四天之hadoop命令操作（下）1. Hadoop dfsadmin #启动dfs admin客户端 -report #报告当前集群的节点信息 -safemode enter #进入安全模式 -safemode leave #离开安全模式 -
转载
2023-10-02 20:39:39
68阅读
在用Hadoop框架处理大数据时使用最多就是HDFS--分布式文件系统，但Hadoop的文件系统不仅只有分布式文件系统，例如：hfs,HSFTP,HAR等在Hadoop中都是有集成的，用来处理存储在不同体系中的数据。事实上应该这么说，Hadoop其实是一个综合性的文件系统。 下面来看看文件系统的结构体系 当然上面的UML图解事实上有些冗余，但是为了能清楚的表达fs这个体系中的成员，
转载
2023-08-22 09:35:50
114阅读
准备工作Oracle VM VirtualBox工具下搭建的linux系统 ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8 hadoop安装包安装步骤1、解压hadoop安装包 （1）．把下载好的安装包，拖拽到/software目录中 这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下（2
转载
2023-09-20 10:54:21
1503阅读
1 .打包 、解包：tar命令有tar包、zip包、gzip包打包：tar -zcvf 打包后的文件包名 要打包的目录解包：tar -zxvf 包名 [解压到的目录]，默认解压到包所在的目录选项说明：tar命令的选项-z 压缩-c 打包-x 解包-f 必须要-C 指定解包位置-v 输出信息打包示例：tar -cvf jpg.tar ./*.jpg //将当前目录里所有jpg
转载
2023-06-17 14:32:15
698阅读
1.start-all.sh开启线程hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名 /user就是user文件夹)hadoop fs -ls /user（hdfs://cloud4:9000可省略）2. -ls/-lsr 查看目录下的文件信息 hadoop fs -ls / 查看根目录下文件与文件夹&
转载
2023-05-29 15:34:49
1076阅读
1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wangkai.pt/data.txt3、将本地文件存储至hadoophadoop fs –put [本地地址] [hadoop目录]had
转载
2023-06-12 21:06:10
401阅读
概述本文会从一下几点介绍压缩也解压 1. 什么是压缩、解压？ 2. hadoop中的压缩 、解压格式有哪些？ 3. 有什么优缺点？ 4. 应用场景有哪些？ 5. 如何使用？ 6. LzoCodec和LzopCodec区别 7. Hive中的使用 大家可以带着上述几个问题来进行学习、思考。1 什么是压缩、解压用一句最直白的话概述，压缩就是通过某种技术（算法）把原始文件变下，相应的解压就是把压缩后的文
转载
2023-07-24 09:00:01
618阅读
tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的-f: 使用档案名字，
转载
2024-07-30 10:43:10
39阅读
假设Hadoop的安装目录HADOOP_HOME为/home/hadoop启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关
转载
2023-06-20 10:35:08
0阅读
一、查看一堆文件共有多少行查看file1/file2目录下所有文件总共多少行 hadoop fs -text file1/file2/* | wc -l 二、正则表达式 hadoop fs -text file1/file2/* | grep ',' 匹配file1/file2/*文件中含逗号'，'的内容。二、deflate文件 1、查看：（hdfs处理之后一种压缩文件），可以采用had
转载
2019-05-22 16:01:00
528阅读
