hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有两种方法： a hadoop自带的dfs服务，put； b hadoop的API，Writer对象可以实现这一功能； 将a、b方案进行对比，如下：
转载
2024-08-20 08:42:35
55阅读
准备工作Oracle VM VirtualBox工具下搭建的linux系统 ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8 hadoop安装包安装步骤1、解压hadoop安装包 （1）．把下载好的安装包，拖拽到/software目录中 这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下（2
转载
2023-09-20 10:54:21
1500阅读
概述本文会从一下几点介绍压缩也解压 1. 什么是压缩、解压？ 2. hadoop中的压缩 、解压格式有哪些？ 3. 有什么优缺点？ 4. 应用场景有哪些？ 5. 如何使用？ 6. LzoCodec和LzopCodec区别 7. Hive中的使用 大家可以带着上述几个问题来进行学习、思考。1 什么是压缩、解压用一句最直白的话概述，压缩就是通过某种技术（算法）把原始文件变下，相应的解压就是把压缩后的文
转载
2023-07-24 09:00:01
618阅读
1 .打包 、解包：tar命令有tar包、zip包、gzip包打包：tar -zcvf 打包后的文件包名 要打包的目录解包：tar -zxvf 包名 [解压到的目录]，默认解压到包所在的目录选项说明：tar命令的选项-z 压缩-c 打包-x 解包-f 必须要-C 指定解包位置-v 输出信息打包示例：tar -cvf jpg.tar ./*.jpg //将当前目录里所有jpg
转载
2023-06-17 14:32:15
698阅读
1. hadoop软件传送给虚拟机还是利用WinSCP把hadoop软件安装包，放到linux的Downloads文件夹中。2. 选择安装目录把hadoop安装包copy到这个安装目录中，这里我们选择CentOS中的/usr/local目录中。3. 解压缩安装包看到hadoop安装包的后缀是.tar.gz。所以直接用tar命令解压缩#tar -zxvf xxx //解压.tar.gz的文件解
转载
2023-06-13 22:29:25
834阅读
1、说明Hadoop的操作命令基本分为几大类.
// hadoop整体shell命令
hadoop xxx :
// hdfs相关
hdfs xxxx:
// mr相关
yarn xxxx:
等等等2、hadoop 系统命令查看Hadoop版本hadoop version压缩文件hadoop archive -archiveName
转载
2023-09-26 15:52:39
879阅读
一、Linux1.1 vi/vim1.1.1 一般模式语法功能描述yy复制光标当前一行y数字y复制一段（从第几行到第几行）p箭头移动到目的行粘贴u撤销上一步dd删除光标当前行d数字d删除光标（含）后多少行x删除一个字母，相当于delX删除一个字母，相当于Backspaceyw复制一个词dw删除一个词shift+^移动到行头shift+$移动到行尾1+shift+g移动到页头，数字shif
转载
2023-12-14 10:17:01
106阅读
前言：本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…本次需要用到的材料jdk-8u112-linux-x64.tar.gzjdk官网下载
hadoop-2.7.6.tar.gzhadoop官网下载清华镜像下载 当然可能低版本下载不到了，没关系以下是我的百度网盘链接可供下载→https://pan.baidu.co
转载
2023-09-22 12:54:36
211阅读
# Ubuntu解压Hadoop命令
在进行大规模数据处理和分析时，Hadoop是一个非常强大的工具。Hadoop是一个可扩展的开源框架，用于分布式处理大规模数据集。它提供了高可靠性、高可用性和高性能的分布式计算环境。本文将介绍在Ubuntu操作系统下解压Hadoop的命令，并提供相关示例代码。
## Hadoop简介
Hadoop由Apache基金会开发，是一个开源框架。它由分布式文件系统
原创
2024-01-07 11:38:15
71阅读
Gzip优点压缩解压速度快 , 压缩率高 , hadoop本身支持处理压缩文件时方便 , 和处理文本一样大部分linux 系统自带 Gzip 命令 , 使用方便缺点不支持切片使用场景文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯一的缺点是不能切片)总结 : 不需要切片的情况下 可以使用BZip2优点压缩率高(高于Gzip)可以切片hadoop自带
转载
2024-06-11 02:55:11
18阅读
一、概述1.1 说明虽然目前 Hadoop 的最新版本为 3.0.0，但是我安装的 Hadoop 的版本为 2.7.3。1.2 参考资料官方文档：http://hadoop.apache.org/docs/r2.7.3/index.html二、Hadoop 的安装2.1 Java 安装由于 Hadoop 基于 Java，需要 Java 的支持，因此，需要首先安装好 Java。2.2 ssh 的安装
转载
2023-06-21 16:45:57
663阅读
linux常用命令mkdir 创建目录tar解压命令pwd查看完整路径rm删除文件mv移动命令ls查看文件夹内容cd命令搭建ifconfig: 未找到命令参考网址：
方法一：输入ip addr
方法二：输入以下命令安装net-tool：
yum -y install net-tools
最后使用ifconfig命令验证查看并卸载[root@localhost softw
转载
2023-08-13 23:40:44
219阅读
本文引用了两部分tar的说明，第一部分是举例说明使用tar。第二部分是详细的参数说明。第一部分：tar命令 tar [-cxtzjvfpPN] 文件与目录 .... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！ 特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！
转载
2023-09-13 10:39:31
153阅读
tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的-f: 使用档案名字，
转载
2024-07-30 10:43:10
39阅读
目录GzipBZip2LzoSnappy总结 Gzip优点 1.压缩解压速度快 , 压缩率高 , hadoop本身支持 2.处理压缩文件时方便 , 和处理文本一样 3.大部分linux 系统自带 Gzip 命令 , 使用方便缺点 1.不支持切片使用场景 1.文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯一的缺点是不能切片) 2.总结 : 不需要切片的情况
转载
2024-04-22 11:52:26
24阅读
首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接：https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg 提取码：6s5a接下来打开虚拟机终端，先创建一个文件夹用来解压Hadoop的tar包 接着使用xshell远程连接到虚拟机传输Hadoop的tar包（不会使用xshell可以参考这篇文章）输入命令
转载
2023-08-08 02:27:32
237阅读
一、安装Hadoop之前说明安装Hadoop需要在官网把Hadoop文件下载好，并且上传到Linux中。上传步骤请参考：Hadoop学习笔记（6）如何使用Xshell从Windows向Linux上传文件二、解压安装Hadoop输入命令查看文件存放[admin@master ~]$ ls
hadoop-2.5.2.tar.gz test usr 公共 模板 视频 图片 文档 下载
转载
2023-06-14 22:24:34
631阅读
# Hadoop解压LZO文件命令
## 引言
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。在Hadoop中，我们经常需要处理LZO格式的文件，因为LZO是一种高效的压缩算法，可以减小数据文件的大小，提高数据的传输和存储效率。本文将介绍如何使用Hadoop解压LZO文件的命令。
## LZO文件格式
LZO（Lempel-Ziv-Oberhumer）是一种基于字典的
原创
2023-08-17 17:45:29
367阅读
## Hadoop解压文件命令tar
### 什么是Hadoop？
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它可以在低成本的硬件上运行，并且具有高容错性和高可靠性。
### 为什么需要解压文件？
在Hadoop中，数据通常以压缩的方式存储，以减少存储空间和网络传输的成本。因此，在对数据进行处理之前，通常需要解压缩数据。
### 使用tar命令解压文件
原创
2023-08-17 08:23:42
1463阅读
# 项目方案：使用Hadoop fs命令解压文件
## 1. 项目背景
在大数据处理过程中，常常需要解压缩文件以进行后续的数据处理工作。Hadoop fs命令是Hadoop分布式文件系统的命令行接口，提供了对HDFS文件的管理和操作功能。本项目的目标是使用Hadoop fs命令解压缩文件，提高数据处理的效率。
## 2. 解决方案
本方案使用Hadoop fs命令行工具来解压缩文件。具体流程如
原创
2023-08-10 12:08:16
604阅读
