实验实现过程
第一步:准备Linux环境
- VMware-workstation-full-12.1.1-3770994.exe)自行安装并注册,步骤略。。。
- 请在虚拟机软件VMware上安装Linux系统(ubuntukylin-16.04-desktop-amd64.iso),步骤略。。。
温馨提示:安装Ubuntu虚拟机前必须到BIOS中开启虚拟化技术支持。
- 进入Linux系统,打开终端,创建hadoop用户并安装vim编辑器,终端命令:
sudo adduser hadoop
sudo apt-get install vim #如果提示没有vim安装包,首先执行第5步,再执行apt-get update更新软件包,然后再进行vim安装。 - 用刚创建的hadoop用户进入Linux系统
sudo adduser hadoop
- 测试hadoop用户是否创建成功。
然后进入root用户/etc目录,编辑sudoers
su root
- vi sudoers ,给hadoop用户增加权限(gedit sudoers也行)
- 安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
报错:请浏览
安装后,可以使用如下命令登陆本机:
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
9.首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。
- 练习下列常用linux命令
cd命令:切换目录
(1) 切换到目录“/usr/local”
cd /usr/local
(2) 切换到当前目录的上一级目录
cd ..
(3) 切换到当前登录Linux系统的用户的自己的主文件夹
cd ~
ls命令:查看文件与目录
(4) 查看目录“/usr”下的所有文件和目录
cd /usr
ls -al
mkdir命令:新建目录
(5) 进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录
$ cd /tmp
$ mkdir a
$ ls -al
(6) 进入“/tmp”目录,创建目录“a1/a2/a3/a4”
$ cd /tmp
$ mkdir -p a1/a2/a3/a4
rmdir命令:删除空的目录
(7) 将上面创建的目录a(在“/tmp”目录下面)删除
$ cd /tmp
$ rmdir a
(8) 删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录
$ cd /tmp
$ rmdir -p a1/a2/a3/a4
$ ls -al
cp命令:复制文件或目录
(9) 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1
$ sudo cp ~/.bashrc /usr/bashrc1
(10) 在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下
$ cd /tmp
$ mkdir test
$ sudo cp -r /tmp/test /usr
mv命令:移动文件与目录,或更名
(11) 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
$ sudo mv /usr/bashrc1 /usr/test
(12) 将“/usr”目录下的test目录重命名为test2
$ sudo mv /usr/test /usr/test2
rm命令:移除文件或目录
(13) 将“/usr/test2”目录下的bashrc1文件删除
$ sudo rm /usr/test2/bashrc1
(14) 将“/usr”目录下的test2目录删除
$ sudo rm -r /usr/test2
cat命令:查看文件内容
(15) 查看当前用户主文件夹下的.bashrc文件内容
$ cat ~/.bashrc
tac命令:反向查看文件内容
(16) 反向查看当前用户主文件夹下的.bashrc文件的内容
$ tac ~/.bashrc
more命令:一页一页翻动查看
(17) 翻页查看当前用户主文件夹下的.bashrc文件的内容
$ more ~/.bashrc
```head命令:取出前面几行
(18) 查看当前用户主文件夹下.bashrc文件内容前20行
```powershell
$ head -n 20 ~/.bashrc
(19) 查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
$ head -n -50 ~/.bashrc
tail命令:取出后面几行
(20) 查看当前用户主文件夹下.bashrc文件内容最后20行
$ tail -n 20 ~/.bashrc
(21) 查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据
$ tail -n +50 ~/.bashrc
touch命令:修改文件时间或创建新文件
(22) 在“/tmp”目录下创建一个空文件hello,并查看文件时间
$ cd /tmp
$ touch hello
$ ls -l hello
(23) 修改hello文件,将文件时间整为5天前
$ touch -d “5 days ago” hello
chown命令:修改文件所有者权限
(24) 将hello文件所有者改为root帐号,并查看属性
$ sudo chown root /tmp/hello
$ ls -l /tmp/hello
find命令:文件查找
(25) 找出主文件夹下文件名为.bashrc的文件
$ find ~ -name .bashrc
tar命令:压缩命令
(26) 在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz
$ sudo mkdir /test
$ sudo tar -zcv -f /test.tar.gz test
(27) 把上面的test.tar.gz压缩包,解压缩到“/tmp”目录
$ sudo tar -zxv -f /test.tar.gz -C /tmp
grep命令:查找字符串
(28) 从“~/.bashrc”文件中查找字符串’examples’
$ grep -n 'examples' ~/.bashrc
第二步:下载并安装JDK(
1.在线下载JDK或直接本地拷贝到Linux虚拟机当前用户Downloads目录
2.进入/opt目录,创建java文件夹,然后解压JDK到该文件夹。
sudo mkdir /opt/java
sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/
3.配置jdk环境变量(有2种方式,修改profile或者.bashrc,任选一即可,二者区别自行学习)
sudo vim /etc/profile
增加如下内容:
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
4.重新加载环境变量脚本
source /etc/profile
5.验证Java是否生效
java -version
第三步:下载eclipse并安装
- 在线下载并拷贝到当前用户Downloads目录下面
下载地址:https://www.eclipse.org/downloads/ - 解压eclipse到/opt目录下
- 查看解压结果
- 在linux系统中设置eclipse快捷方式
sudo gedit /usr/share/applications/eclipse.desktop
2) 向eclipse .desktop中添加以下内容:
[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse IDE
Exec=/opt/eclipse/eclipse
Icon=/opt/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Developmet;
- 给eclipse .desktop文件赋权 :
sudo chmod u+x eclipse.desktop
此时我们会看到,刚才建立的eclipse.desktop文件变成了Eclipse的图标。
4) 找到/usr/share/applications/eclipse.desktop,右键选择 copy to desktop,即可。
注:1、Exec代表应用程序的位置(视实际情况修改)
Icon代表应用程序图标的位置(视实际情况修改)
第四步:下载Hadoop安装包并解压
1.下载地址:http://hadoop.apache.org/releases.html
可以自己选择版本,最新版是hadoop-3.1.1.tar.gz
2.解压安装包
先新建文件夹bigdata,解压到该目录下。
sudo mkdir /bigdata
解压Hadoop安装包
sudo tar -zxvf hadoop-3.1.1.tar.gz -C /bigdata/
在Hadoop安装包目录下有几个比较重要的目录
sbin : 启动或停止Hadoop相关服务的脚本
bin :对Hadoop相关服务(HDFS,YARN)进行操作的脚本
etc : Hadoop的配置文件目录
share :Hadoop的依赖jar包和文档,文档可以被删掉
lib :Hadoop的本地库(对数据进行压缩解压缩功能的)
检查是否可用:
3.修改文件夹权限:
sudo chown -R hadoop hadoop-3.1.1/
ok