大数据实验一 熟悉常用的Linux操作和Hadoop操作

1.实验目的
Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。

2.实验平台
(1)操作系统:Linux(Ubuntu18.04);
(2)Hadoop版本:3.1.3。

3.实验步骤

1.熟悉常用的Linux操作

1)cd命令:切换目录

(1)切换到目录“/usr/local”

(2)切换到当前目录的上一级目录

(3)切换到当前登录Linux系统的用户的自己的主文件夹

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据

2)ls命令:查看文件与目录

查看目录“/usr”下的所有文件和目录

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_02

3)mkdir命令:新建目录

(1)进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录

(2)进入“/tmp”目录,创建目录“a1/a2/a3/a4”

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_03

4)rmdir命令:删除空的目录

(1)将上面创建的目录a(在“/tmp”目录下面)删除

(2)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录

启动Hadoop的Linux命令 写出启动hadoop的linux命令_linux_04

5)cp命令:复制文件或目录

(1)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1

(2)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_05

6)mv命令:移动文件与目录,或更名

(1)将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

(2)将“/usr”目录下的test目录重命名为test2

启动Hadoop的Linux命令 写出启动hadoop的linux命令_启动Hadoop的Linux命令_06

7)rm命令:移除文件或目录

(1)将“/usr/test2”目录下的bashrc1文件删除

(2)将“/usr”目录下的test2目录删除

启动Hadoop的Linux命令 写出启动hadoop的linux命令_linux_07

8)cat命令:查看文件内容

查看当前用户主文件夹下的.bashrc文件内容

启动Hadoop的Linux命令 写出启动hadoop的linux命令_linux_08

9)tac命令:反向查看文件内容

反向查看当前用户主文件夹下的.bashrc文件的内容

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据_09

10)more命令:一页一页翻动查看

翻页查看当前用户主文件夹下的.bashrc文件的内容

启动Hadoop的Linux命令 写出启动hadoop的linux命令_bash_10

11)head命令:取出前面几行

(1)查看当前用户主文件夹下.bashrc文件内容前20行

(2)查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行

启动Hadoop的Linux命令 写出启动hadoop的linux命令_bash_11

12)tail命令:取出后面几行

(1)查看当前用户主文件夹下.bashrc文件内容最后20行

(2)查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据_12


启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_13

13)touch命令:修改文件时间或创建新文件

(1)在“/tmp”目录下创建一个空文件hello,并查看文件时间

(2)修改hello文件,将文件时间整为5天前

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据_14

14)chown命令:修改文件所有者权限

将hello文件所有者改为root帐号,并查看属性

启动Hadoop的Linux命令 写出启动hadoop的linux命令_启动Hadoop的Linux命令_15

15)find命令:文件查找

找出主文件夹下文件名为.bashrc的文件

启动Hadoop的Linux命令 写出启动hadoop的linux命令_启动Hadoop的Linux命令_16

16)tar命令:压缩命令

(1)在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz

(2)把上面的test.tar.gz压缩包,解压缩到“/tmp”目录

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_17

17)grep命令:查找字符串

从“~/.bashrc”文件中查找字符串’examples’

启动Hadoop的Linux命令 写出启动hadoop的linux命令_启动Hadoop的Linux命令_18

18)配置环境变量

(1)请在“~/.bashrc”中设置,配置Java环境变量

(2)查看JAVA_HOME变量的值

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_19

2.熟悉常用的Hadoop操作

(1)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”

启动Hadoop的Linux命令 写出启动hadoop的linux命令_linux_20

出现问题。

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_21

按照以上命令行解决问题。

(2)接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据_22

(3) 将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test

启动Hadoop的Linux命令 写出启动hadoop的linux命令_bash_23

(4)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下

启动Hadoop的Linux命令 写出启动hadoop的linux命令_hadoop_24

4.实验出现的问题与解决

出现的问题:使用hadoop用户登录Linux系统,启动Hadoop时出现拒绝连接。

解决方案(列出遇到的问题和解决办法,列出没有解决的问题):重启jsp。

启动Hadoop的Linux命令 写出启动hadoop的linux命令_大数据_25