熟悉常用的Linux操作和Hadoop操作目录
- 实验目的
- 一、熟悉常用的linux命令
- 1、cd:切换目录
- 2、ls:查看文件与目录
- 3、mkdir:新建目录
- 4、rmdir:删除目录
- 5、cp:复制文件或者目录(可做重命名功能)
- 6、mv:移动文件与目录(可做重命名功能)
- 7、rm:删除文件与目录
- 8、cat:查看文件内容
- 9、tac:反向查看文件内容
- 10、more:一页一页翻动查看文件内容
- 11、head:查看文件内容的特定几行
- 12、tail:取出文件后面几行
- 13、touch:修改文件时间或者创建新文件
- 14、chown:修改文件所有者权限
- 15、find:文件查找
- 16、tar:tar后缀文件的解压压缩
- 17、unzip:zip后缀文件的解压
- 二、熟悉常用的Hadoop命令
- 1、启动Hadoop
- 2、./bin/hdsf dfs -命令
- 3、put:系统本地文件上传到HDFS
- 4、get:将HDFS文件复制到本地系统
实验目的
Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。
一、熟悉常用的linux命令
1、cd:切换目录
- cd + 路径 => 切换到某个目录
- cd + . . => 切换到当前目录的上一级目录
.表示当前目录
./表示当前目录
…/表示父级目录
/表示根目录 - 直接cd => 切换到当前登录Linux系统的用户的自己的主文件夹
2、ls:查看文件与目录
- ls+路径 => 显示当前路径下的所有文件夹、目录名字
- ls +路径 +al => 表示查看更详细的内容
- ls + -l + 单个文件 => 表示查看某个文件的详细信息
3、mkdir:新建目录
- 连续建立目录可以加上 -p
4、rmdir:删除目录
- 连续删除(即目录不为空)需要加上 -p
5、cp:复制文件或者目录(可做重命名功能)
- !需要权限,在命令前加个sudo
6、mv:移动文件与目录(可做重命名功能)
- !需要权限,在命令前加个sudo
7、rm:删除文件与目录
- !需要权限,在命令前加个sudo
8、cat:查看文件内容
9、tac:反向查看文件内容
10、more:一页一页翻动查看文件内容
11、head:查看文件内容的特定几行
- 查看文件前20行:head -n 20 test.txt
- 查看文件内容,但是不显示后50行:head -n -50 test.txt
12、tail:取出文件后面几行
- 查看文件最后20行:tail -n 20 test.txt
- 查看文件内容,但是只显示50行以后的数据:tail -n +50 test.txt
13、touch:修改文件时间或者创建新文件
- 创建一个空文件hello,并查看文件时间
- 修改hello文件,将文件时间整为5天前
14、chown:修改文件所有者权限
- 将hello文件所有者改为root帐号,并查看属性
- ls -l显示权限
- chown修改文件所有者
- chgrp修改文件所有者用户组
- chmod修改文件对应各种用户的读写、执行权力
- a所有用户、u用户、g组用户、o其他用户
- r读、w写、x执行
- 777=a+rwx=111 111 111
15、find:文件查找
- find 路径 -name 文件名
16、tar:tar后缀文件的解压压缩
- 在新建文件夹hello打包成test.tar.gz:sudo tar -zcvf hello.tar.gz hello
- 把上面的hello.tar.gz压缩包,解压缩到“/usr”目录:sudo tar -zxvf hello.tar.gz -C /usr
- -c建立压缩档案、-x表示解压
- -v显示所有过程、
- -f使用档案名字,是必须的,也是最后一个参数
- -z表示*.tar.gz文件
- -j表示*.bz2文件
- tar -cvf wordtest.tar word.txt 压缩word.txt为wordtest.tar
- tar -tf wordtest.tar显示压缩包内容
- tar -xvf wordtest.tar 释放包
- tar -xzvf wordtest.tar 释放gz包tar -xjvf wordtest.tar.bz2 -C /tmp加上-C可
- 以设置路径
17、unzip:zip后缀文件的解压
(unzip功能的安装可以自行百度)
- unzip 文件名.zip -d 路径
1、启动Hadoop
- 进入对应的Hadoop安装路径start启动
2、./bin/hdsf dfs -命令
- 操作Hadoop与本地的命令有些许不同,需要加上Hadoop操作的固定代码./bin/hdsf dfs才算是操作Hadoop系统
3、put:系统本地文件上传到HDFS
- ./bin/hdfs dfs -put ./test.txt ./test
4、get:将HDFS文件复制到本地系统
- ./bin/hdfs dfs -get test ./