准备工作Oracle VM VirtualBox工具下搭建的linux系统 ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8 hadoop安装包安装步骤1、解压hadoop安装包 （1）．把下载好的安装包，拖拽到/software目录中 这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下（2
转载
2023-09-20 10:54:21
1500阅读
hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有两种方法： a hadoop自带的dfs服务，put； b hadoop的API，Writer对象可以实现这一功能； 将a、b方案进行对比，如下：
转载
2024-08-20 08:42:35
55阅读
概述本文会从一下几点介绍压缩也解压 1. 什么是压缩、解压？ 2. hadoop中的压缩 、解压格式有哪些？ 3. 有什么优缺点？ 4. 应用场景有哪些？ 5. 如何使用？ 6. LzoCodec和LzopCodec区别 7. Hive中的使用 大家可以带着上述几个问题来进行学习、思考。1 什么是压缩、解压用一句最直白的话概述，压缩就是通过某种技术（算法）把原始文件变下，相应的解压就是把压缩后的文
转载
2023-07-24 09:00:01
618阅读
1. hadoop软件传送给虚拟机还是利用WinSCP把hadoop软件安装包，放到linux的Downloads文件夹中。2. 选择安装目录把hadoop安装包copy到这个安装目录中，这里我们选择CentOS中的/usr/local目录中。3. 解压缩安装包看到hadoop安装包的后缀是.tar.gz。所以直接用tar命令解压缩#tar -zxvf xxx //解压.tar.gz的文件解
转载
2023-06-13 22:29:25
834阅读
1 .打包 、解包：tar命令有tar包、zip包、gzip包打包：tar -zcvf 打包后的文件包名 要打包的目录解包：tar -zxvf 包名 [解压到的目录]，默认解压到包所在的目录选项说明：tar命令的选项-z 压缩-c 打包-x 解包-f 必须要-C 指定解包位置-v 输出信息打包示例：tar -cvf jpg.tar ./*.jpg //将当前目录里所有jpg
转载
2023-06-17 14:32:15
698阅读
# Ubuntu解压Hadoop命令
在进行大规模数据处理和分析时，Hadoop是一个非常强大的工具。Hadoop是一个可扩展的开源框架，用于分布式处理大规模数据集。它提供了高可靠性、高可用性和高性能的分布式计算环境。本文将介绍在Ubuntu操作系统下解压Hadoop的命令，并提供相关示例代码。
## Hadoop简介
Hadoop由Apache基金会开发，是一个开源框架。它由分布式文件系统
原创
2024-01-07 11:38:15
71阅读
Gzip优点压缩解压速度快 , 压缩率高 , hadoop本身支持处理压缩文件时方便 , 和处理文本一样大部分linux 系统自带 Gzip 命令 , 使用方便缺点不支持切片使用场景文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯一的缺点是不能切片)总结 : 不需要切片的情况下 可以使用BZip2优点压缩率高(高于Gzip)可以切片hadoop自带
转载
2024-06-11 02:55:11
18阅读
一、Linux1.1 vi/vim1.1.1 一般模式语法功能描述yy复制光标当前一行y数字y复制一段（从第几行到第几行）p箭头移动到目的行粘贴u撤销上一步dd删除光标当前行d数字d删除光标（含）后多少行x删除一个字母，相当于delX删除一个字母，相当于Backspaceyw复制一个词dw删除一个词shift+^移动到行头shift+$移动到行尾1+shift+g移动到页头，数字shif
转载
2023-12-14 10:17:01
106阅读
前言：本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…本次需要用到的材料jdk-8u112-linux-x64.tar.gzjdk官网下载
hadoop-2.7.6.tar.gzhadoop官网下载清华镜像下载 当然可能低版本下载不到了，没关系以下是我的百度网盘链接可供下载→https://pan.baidu.co
转载
2023-09-22 12:54:36
211阅读
1、说明Hadoop的操作命令基本分为几大类.
// hadoop整体shell命令
hadoop xxx :
// hdfs相关
hdfs xxxx:
// mr相关
yarn xxxx:
等等等2、hadoop 系统命令查看Hadoop版本hadoop version压缩文件hadoop archive -archiveName
转载
2023-09-26 15:52:39
879阅读
Linux常用命令记录linux一次性解压多个.gz或者.tar.gz文件：// 解压多个.gz文件，命令如下
for gz in *.gz; do gunzip $gz; done
// 解压多个.tar.gz文件的，用下面命令
for tar in *.tar.gz; do tar xvf $tar; done防火墙：// 查看防火墙状态
systemctl status firewalld
转载
2023-07-12 14:07:36
369阅读
1、namenode无法启动，不报错可能原因是：之前用root启动过，导致current文件夹的权限和所属更改了，需要更改回来解决：current文件夹位于hadoop安装目录同级目录的tmp/dfs/namesecondary2、WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo原因：查
转载
2023-12-17 21:56:53
163阅读
linux常用命令mkdir 创建目录tar解压命令pwd查看完整路径rm删除文件mv移动命令ls查看文件夹内容cd命令搭建ifconfig: 未找到命令参考网址：
方法一：输入ip addr
方法二：输入以下命令安装net-tool：
yum -y install net-tools
最后使用ifconfig命令验证查看并卸载[root@localhost softw
转载
2023-08-13 23:40:44
219阅读
# 项目方案：使用Hadoop fs命令解压文件
## 1. 项目背景
在大数据处理过程中，常常需要解压缩文件以进行后续的数据处理工作。Hadoop fs命令是Hadoop分布式文件系统的命令行接口，提供了对HDFS文件的管理和操作功能。本项目的目标是使用Hadoop fs命令解压缩文件，提高数据处理的效率。
## 2. 解决方案
本方案使用Hadoop fs命令行工具来解压缩文件。具体流程如
原创
2023-08-10 12:08:16
604阅读
# Hadoop解压Zip文件命令
在Hadoop中，我们经常需要处理大规模的数据集。有时，这些数据集以Zip文件的形式存储在Hadoop集群中。为了能够使用这些数据，我们需要将Zip文件解压缩。本文将介绍如何使用Hadoop解压缩Zip文件的命令，并提供相应的代码示例。
## Hadoop解压Zip文件命令
Hadoop提供了一个`unzip`命令，用于解压缩Zip文件。该命令的语法如下：
原创
2023-10-04 14:36:16
1149阅读
一、概述1.1 说明虽然目前 Hadoop 的最新版本为 3.0.0，但是我安装的 Hadoop 的版本为 2.7.3。1.2 参考资料官方文档：http://hadoop.apache.org/docs/r2.7.3/index.html二、Hadoop 的安装2.1 Java 安装由于 Hadoop 基于 Java，需要 Java 的支持，因此，需要首先安装好 Java。2.2 ssh 的安装
转载
2023-06-21 16:45:57
663阅读
# Hadoop解压LZO文件命令
## 引言
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。在Hadoop中，我们经常需要处理LZO格式的文件，因为LZO是一种高效的压缩算法，可以减小数据文件的大小，提高数据的传输和存储效率。本文将介绍如何使用Hadoop解压LZO文件的命令。
## LZO文件格式
LZO（Lempel-Ziv-Oberhumer）是一种基于字典的
原创
2023-08-17 17:45:29
367阅读
## Hadoop解压文件命令tar
### 什么是Hadoop？
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它可以在低成本的硬件上运行，并且具有高容错性和高可靠性。
### 为什么需要解压文件？
在Hadoop中，数据通常以压缩的方式存储，以减少存储空间和网络传输的成本。因此，在对数据进行处理之前，通常需要解压缩数据。
### 使用tar命令解压文件
原创
2023-08-17 08:23:42
1463阅读
软件安装安装anaconda
先要用命令激活conda安装pip
注意加上sudo关闭和打开jupyter
关闭：ps -aux | grep jupyter
打开：先进到docker里面，再用jupyter notebook --allow-root常用命令在同一个ip内移动文件先进到文件所在目录sudo mv 文件或文件夹名 移动到的位置从ipA移到ipB里先进入到ipB里，退到最外层目录su
转载
2023-12-13 06:04:18
224阅读
一、查看一堆文件共有多少行查看file1/file2目录下所有文件总共多少行 hadoop fs -text file1/file2/* | wc -l 二、正则表达式 hadoop fs -text file1/file2/* | grep ',' 匹配file1/file2/*文件中含逗号'，'的内容。二、deflate文件 1、查看：（hdfs处理之后一种压缩文件），可以采用had
转载
2019-05-22 16:01:00
528阅读
