熟悉常用的Linux操作和Hadoop操作目录

  • 实验目的
  • 一、熟悉常用的linux命令
  • 1、cd:切换目录
  • 2、ls:查看文件与目录
  • 3、mkdir:新建目录
  • 4、rmdir:删除目录
  • 5、cp:复制文件或者目录(可做重命名功能)
  • 6、mv:移动文件与目录(可做重命名功能)
  • 7、rm:删除文件与目录
  • 8、cat:查看文件内容
  • 9、tac:反向查看文件内容
  • 10、more:一页一页翻动查看文件内容
  • 11、head:查看文件内容的特定几行
  • 12、tail:取出文件后面几行
  • 13、touch:修改文件时间或者创建新文件
  • 14、chown:修改文件所有者权限
  • 15、find:文件查找
  • 16、tar:tar后缀文件的解压压缩
  • 17、unzip:zip后缀文件的解压
  • 二、熟悉常用的Hadoop命令
  • 1、启动Hadoop
  • 2、./bin/hdsf dfs -命令
  • 3、put:系统本地文件上传到HDFS
  • 4、get:将HDFS文件复制到本地系统


实验目的

Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。

一、熟悉常用的linux命令

1、cd:切换目录

  • cd + 路径 => 切换到某个目录
  • cd + . . => 切换到当前目录的上一级目录
    .表示当前目录
    ./表示当前目录
    …/表示父级目录
    /表示根目录
  • 直接cd => 切换到当前登录Linux系统的用户的自己的主文件夹

2、ls:查看文件与目录

  • ls+路径 => 显示当前路径下的所有文件夹、目录名字
  • ls +路径 +al => 表示查看更详细的内容
  • ls + -l + 单个文件 => 表示查看某个文件的详细信息

3、mkdir:新建目录

  • 连续建立目录可以加上 -p

4、rmdir:删除目录

  • 连续删除(即目录不为空)需要加上 -p
  • 怎么切换到hadoop目录下 linux切换到hadoop_后缀


5、cp:复制文件或者目录(可做重命名功能)

  • !需要权限,在命令前加个sudo
  • 怎么切换到hadoop目录下 linux切换到hadoop_后缀_02


6、mv:移动文件与目录(可做重命名功能)

  • !需要权限,在命令前加个sudo
  • 怎么切换到hadoop目录下 linux切换到hadoop_修改文件_03


7、rm:删除文件与目录

  • !需要权限,在命令前加个sudo
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_04


8、cat:查看文件内容

9、tac:反向查看文件内容

10、more:一页一页翻动查看文件内容

11、head:查看文件内容的特定几行

  • 查看文件前20行:head -n 20 test.txt
  • 查看文件内容,但是不显示后50行:head -n -50 test.txt

12、tail:取出文件后面几行

  • 查看文件最后20行:tail -n 20 test.txt
  • 查看文件内容,但是只显示50行以后的数据:tail -n +50 test.txt

13、touch:修改文件时间或者创建新文件

  • 创建一个空文件hello,并查看文件时间
  • 修改hello文件,将文件时间整为5天前
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_05


14、chown:修改文件所有者权限

  • 将hello文件所有者改为root帐号,并查看属性
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_06


  • ls -l显示权限
  • chown修改文件所有者
  • chgrp修改文件所有者用户组
  • chmod修改文件对应各种用户的读写、执行权力
  • a所有用户、u用户、g组用户、o其他用户
  • r读、w写、x执行
  • 777=a+rwx=111 111 111
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_07


15、find:文件查找

  • find 路径 -name 文件名
  • 怎么切换到hadoop目录下 linux切换到hadoop_Hadoop_08


16、tar:tar后缀文件的解压压缩

  • 在新建文件夹hello打包成test.tar.gz:sudo tar -zcvf hello.tar.gz hello
  • 把上面的hello.tar.gz压缩包,解压缩到“/usr”目录:sudo tar -zxvf hello.tar.gz -C /usr
  • -c建立压缩档案、-x表示解压
  • -v显示所有过程、
  • -f使用档案名字,是必须的,也是最后一个参数
  • -z表示*.tar.gz文件
  • -j表示*.bz2文件
  • tar -cvf wordtest.tar word.txt 压缩word.txt为wordtest.tar
  • tar -tf wordtest.tar显示压缩包内容
  • tar -xvf wordtest.tar 释放包
  • tar -xzvf wordtest.tar 释放gz包tar -xjvf wordtest.tar.bz2 -C /tmp加上-C可
  • 以设置路径
  • 怎么切换到hadoop目录下 linux切换到hadoop_Hadoop_09


17、unzip:zip后缀文件的解压

(unzip功能的安装可以自行百度)

  • unzip 文件名.zip -d 路径
二、熟悉常用的Hadoop命令

1、启动Hadoop

  • 进入对应的Hadoop安装路径start启动
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_10


2、./bin/hdsf dfs -命令

  • 操作Hadoop与本地的命令有些许不同,需要加上Hadoop操作的固定代码./bin/hdsf dfs才算是操作Hadoop系统
  • 怎么切换到hadoop目录下 linux切换到hadoop_后缀_11


3、put:系统本地文件上传到HDFS

  • ./bin/hdfs dfs -put ./test.txt ./test
  • 怎么切换到hadoop目录下 linux切换到hadoop_修改文件_12


4、get:将HDFS文件复制到本地系统

  • ./bin/hdfs dfs -get test ./
  • 怎么切换到hadoop目录下 linux切换到hadoop_怎么切换到hadoop目录下_13