前言hadoop本身是不支持lzo压缩格式的,所以在对类库进行查询时,里面是不会显示lzo是否支持,如何让hadoop能够支持lzo压缩呢?下面我们开始正题!查询环境命令 输入hadoop checknative 笔者使用的hadoop版本为2.7.2,所以要使用lzo压缩组件必须对组件里的hadoop版本进行修改编译。这里就利用maven来对其进行改造。同理很多版本问题,可以利用此方法来解决。环
转载 2023-05-22 12:43:39
83阅读
尚硅谷大数据技术之Shell(作者:尚硅谷大数据研发部)版本:V2.0第1章 Shell概述大数据程序员为什么要学习Shell呢?1)需要看懂运维人员编写的Shell程序。2)偶尔会编写一些简单Shell程序来管理集群、提高开发效率。第2章 Shell解析器(1)Linux提供的Shell解析器有:[atguigu@hadoop101 ~]$ cat /etc/...
原创 2022-09-28 15:43:36
96阅读
从程序员的角度来看, Shell本身是一种用C语言编写的程序,从用户的角度来看,Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执
原创 2023-06-08 21:01:07
108阅读
Hadoop 入门教程(Java操作HDFS)
原创 2022-07-07 11:13:55
599阅读
安装修改etc/hadoop下面的配置 获取JAVA_HOME位置echo $JAVA_HOME​​hadoop-env.sh​​#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/root/jdk1.8.0_151core-site.xml<configuration> <property> <name>fs
原创 2022-08-04 19:42:43
103阅读
实验目的要求 目的:(1)掌握数据仓库工具Hive的使用;要求:掌握数据仓库Hive的使用;能够正常操作数据库、表、数据;          实验环境         五台独立PC式虚拟机;主机之间有
变量 是一种很“弱”的变量,默认情况下,一个变量保存一个串,Shell不关心这个串是什么含义。所以若要进行数学运算,必须使用一些命令例如 let、declare、expr、双括号等。 Shell变量可分为两类:局部变量和环境变量。局部变量只在创建它们的Shell中可用。而环境变量则可以在创建它们的S
转载 2016-07-14 11:10:00
128阅读
2评论
教程目录0x00 教程内容0x011.0x021.2.0xFF 总结0x00 教程内容学习前提:有一定的Scala基础、基本的 Linux 基础,对Spark有一定的概念,并且安装好了Spark环境。其他参考教程:1、分布式集群环境之Scala的安装与配置(Centos7)2、分布式集群环境之Spark的安装与配置(Centos7)0x011.Spark-
原创 2022-01-30 09:28:21
744阅读
第一部分 shell文件安全与权限第二部分 文本过滤第7章 正则表达式介绍基本元字符
原创 2022-08-05 13:33:08
101阅读
教程目录0x00 教程内容0x011.0x021.2.0xFF 总结0x00 教程内容学习前提:有一定的Scala基础、基本的 Linux 基础,对Spark有一定的概念,并且安装好了Spark环境。其他参考教程:1、分布式集群环境之Scala的安装与配置(Centos7)2、分布式集群环境之Spark的安装与配置(Centos7)0x011.Spark-Shell是 Spark 自带的一个 Scala 交互 Shell ,可以以脚本方式进行交互式执行,类似直接用 Python 及其
原创 2021-06-10 18:17:04
659阅读
# Hadoop编程入门教程 作为一名经验丰富的开发者,我将帮助你快速了解并入门Hadoop编程。Hadoop是一个开源的分布式计算系统,适用于大规模数据处理。下面我将为你介绍Hadoop编程的基本步骤,并提供相应的代码示例。 ## 整体流程 首先让我们来看一下学习Hadoop编程的整体流程: | 步骤 | 描述 | |------|------
原创 2024-05-20 11:20:36
80阅读
Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户
原创 2023-06-04 11:40:49
97阅读
Shell函数类似于Shell脚本,里面存放了一系列的指令,不过Shell的函数存在于内存,而不是硬盘文件,所以速度很快,另外,Shell还能对函数进行预处理,所以函数的启动比脚本更快。 1、函数定义 关键字function表示定义一个函数,可以省略,其后是函数名,有时函数名后可以跟一个括号,符号“
转载 2016-07-14 11:06:00
126阅读
2评论
Bash的算术运算有以下几种方法:序号名称语法范例1算术扩展$((算术式))r
原创 2023-07-24 16:27:26
85阅读
Shell提供了到Linux系统的接口。它收集来自输入并基于该输入执行程序
转载 2022-06-02 12:10:43
1204阅读
BASH 的基本语法最简单的例子 —— Hello World!关于输入、输出和错误输出BASH 中对变量的规定(与 C 语言的异同)BASH 中的基本流程控制语法函数的使用2.1 最简单的例子 —— Hello World!几乎所有的讲解编程的书给读者的第一个例子都是 Hello World 程序...
原创 2022-04-02 16:48:57
148阅读
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS
转载 2023-05-22 17:38:32
37阅读
hadoop基础学习Ubuntu基本操作快捷键常用命令目录与权限目录权限软件包的操作国内软件包源一般选取清华或者163等本地软件源制作Hadoop安装JDK,hadoop安装配置hadoop 基础与配置三种模式独立模式配置伪分布模式配置配置脚本配置SSH格式化HDFS系统完全分布模式配置(在s0上配置,拷贝到其它虚拟机上) Ubuntu基本操作这是一些基本的命令!其实在hadoop文件系统中的命
Bash的算术运算有以下几种方法: 第一节:算术扩展 算术扩展语法:$((算术式)) 如果表达式中有变量,该变量名称之前最好不要加$这个符号,以免该变量不存在时,造成语法的错误。 例如: 由于变量i不存在(行1),所以行2会变成:echo $((12+)),这样语法就错了。 但如果写成: 这样可正确
转载 2016-07-14 11:45:00
83阅读
2评论
shell程序的基本组成结构 shell结构大体是由设定变量、内置命令、shell的语法结构、函数组成。 使用实例说明:test.sh 上面的这个脚本要想运行还需要做一些操作,首先给予执行权限 然后执行 输出 父shell和子shell 在执行script之前,身处的环境就是父shell。执行scr
转载 2016-07-14 11:08:00
101阅读
2评论
  • 1
  • 2
  • 3
  • 4
  • 5