在虚拟机上删除hdfs文件： 删除hdfs下的文件： hadoop fs -rm /文件夹名 删除hdfs下的文件夹：hadoop fs -rm -r 文件名 查看根目录下的内容： hadoop fs -cat /文件名 增加权限：chmod +x 文件名 ps -ef|grep 文件名 ：查看某个进程号 复制文件： cp 文件名 文件名 mv 既可以改文件名也可以移动文件（在同一台机器上可以）
转载
2023-08-30 23:59:46
93阅读
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ h...
转载
2015-01-18 20:11:00
184阅读
2评论
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * *
原创
2023-01-10 11:20:59
154阅读
hadoop不适合小文件的存储，小文件本省就占用了很多的metadata，就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。采用ARCHIVE 不会减少 文件存储大小，只会压缩NAMENODE 的空间使用 Hadoop档案指南概观如何创建档案如何在档案中查找文件如何解除归档档案示例创建一个档案查找文件概述
转载
2023-07-24 13:55:39
291阅读
配置文件一、常用配置文件的文件core-site.xmlhdfs-site.xmlhdfs-env.shmapred-site.xmlmapred-env.shyarn-site.xmlyarn-env.shslaves二、配置文件中的内容①核心配置文件：core-site.xml[root@HadoopMaster module]# `cd /opt/module/hadoop-2.7.2/et
转载
2023-05-29 10:56:37
76阅读
在用Hadoop框架处理大数据时使用最多就是HDFS--分布式文件系统，但Hadoop的文件系统不仅只有分布式文件系统，例如：hfs,HSFTP,HAR等在Hadoop中都是有集成的，用来处理存储在不同体系中的数据。事实上应该这么说，Hadoop其实是一个综合性的文件系统。 下面来看看文件系统的结构体系 当然上面的UML图解事实上有些冗余，但是为了能清楚的表达fs这个体系中的成员，
转载
2023-08-22 09:35:50
114阅读
准备工作Oracle VM VirtualBox工具下搭建的linux系统 ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8 hadoop安装包安装步骤1、解压hadoop安装包 （1）．把下载好的安装包，拖拽到/software目录中 这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下（2
转载
2023-09-20 10:54:21
1503阅读
Hadoop学习第四天之hadoop命令操作（下）1. Hadoop dfsadmin #启动dfs admin客户端 -report #报告当前集群的节点信息 -safemode enter #进入安全模式 -safemode leave #离开安全模式 -
转载
2023-10-02 20:39:39
68阅读
1 .打包 、解包：tar命令有tar包、zip包、gzip包打包：tar -zcvf 打包后的文件包名 要打包的目录解包：tar -zxvf 包名 [解压到的目录]，默认解压到包所在的目录选项说明：tar命令的选项-z 压缩-c 打包-x 解包-f 必须要-C 指定解包位置-v 输出信息打包示例：tar -cvf jpg.tar ./*.jpg //将当前目录里所有jpg
转载
2023-06-17 14:32:15
698阅读
一、简要概述目前在工作中用到的hdfs命令大概分为以下几种： 读取文件、新建目录、移动文件、复制文件、删除目录、上传文件、下载文件、列出目录等；二、分别陈述查看HDFS目录hadoop fs -ls /查看 HDFS 中的非压缩文件的内容hadoop fs -cat /data02/data.txt修改 HDFS 中文件或目录的访问权限，-R 选项可以修改目录下的所有子目录的访问权限，执行此命令的
转载
2023-06-08 19:53:54
965阅读
1.start-all.sh开启线程hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名 /user就是user文件夹)hadoop fs -ls /user（hdfs://cloud4:9000可省略）2. -ls/-lsr 查看目录下的文件信息 hadoop fs -ls / 查看根目录下文件与文件夹&
转载
2023-05-29 15:34:49
1076阅读
概述本文会从一下几点介绍压缩也解压 1. 什么是压缩、解压？ 2. hadoop中的压缩 、解压格式有哪些？ 3. 有什么优缺点？ 4. 应用场景有哪些？ 5. 如何使用？ 6. LzoCodec和LzopCodec区别 7. Hive中的使用 大家可以带着上述几个问题来进行学习、思考。1 什么是压缩、解压用一句最直白的话概述，压缩就是通过某种技术（算法）把原始文件变下，相应的解压就是把压缩后的文
转载
2023-07-24 09:00:01
618阅读
众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1，getmergehadoop有一个命令行工具getmerge，用于将一组HDFS上的文件复制到本地计算机以前进行合并参考：http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html使用方法：hado
转载
2023-05-30 12:38:03
233阅读
hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有两种方法： a hadoop自带的dfs服务，put； b hadoop的API，Writer对象可以实现这一功能； 将a、b方案进行对比，如下：
转载
2024-08-20 08:42:35
55阅读
一.什么是HadoopHadoop 是一个适合大数据的分布式存储和计算平台。 Hadoop的广义和狭义区分： 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架。
转载
2023-05-29 10:37:42
59阅读
上传命令
其中test.txt为要上传的文件 /input为指定的上传到的目录 / 为根目录
从客户端所在的本地上传到hdfs的集群中
转载
2023-05-29 14:47:10
673阅读
一.HDFS命令行Hadoop help命令的使用1.hadoop -help查询所有Hadoop Shell支持的命令2.distcp这是Hadoop下的一个分布式复制程序，可以在不t同的HDFS集群间复制数据，也可以在本地文件间复制数据。hadoop distcp将/test/test.txt文件复制到/test/cp下面：hadoop distcp/test/test.txt/test/cp
转载
2023-09-20 07:19:51
487阅读
目 录
1. FS Shell. 2. jar. 3. archive. 4. distcp. 5. &nbs
转载
2024-06-07 12:16:23
28阅读
Hadoop文件系统简介Hadoop家族中，最重要的两部分内容就是MapReduce和HDFS，其中MapReduce是一种编程范型，这种范型比较适合用来在分布式环境下进行批处理计算。另一部分就是HDFS，即hadoop分布式文件系统。Hadoop环境下可以兼容多种文件系统，包括本地文件系统，体现在文件系统API层面上就是有一个文件系统接口，这个接口可以有多种实现，包括本地文件系统或者分布式文件系
转载
2023-07-12 14:26:06
60阅读
简单描述HDFS上传数据的流程并附简易图：HDFS上传文件流程（写数据流程）： 1.比如客户端现在需要上传一个300M的文件，客户端得先请求namenode，告诉它我要上传这个300M的文件。 2.namenode会根据datanode注册时汇报自己的存储状态来判断客户端能否上传，能的话会返回一个OK给客户端。 3.这是客户端会根据自己的文件大小物理切快（默认以128M切割），再请求namenod
转载
2023-06-06 20:07:59
390阅读
