作业一
目录
安装HADOOP的步骤
安装虚拟机
(1)确认系统版本
(2)安装Ubuntu
2.安装Hadoop
(1)创建Hadoop用户
(2)SSH登陆权限设置
(3)安装Java环境
(4)配置Hadoop
遇到的问题和解决方法
问题1:关于MacBook的尝试
问题2:在MacBook上,使用VMware虚拟机的尝试
问题3:SSH无密码登录状态
问题4:下载Java速度过慢导致安装不全
问题5:配置JAVA_HOME环境变量时,丢失javac
问题6:进行Hadoop伪分布式安装的时候,修改配置文件如何保存的问题
问题7:NameNode格式化的问题
问题8 :启动失败
经验总结
对虚拟机安装的不熟手
对Linux零认识的痛
以后的想法
安装Hadoop的步骤
安装虚拟机
说明一下,由于担心因版本的不同,操作步骤和老师会有许多差异,我使用了VirtualBox,在其上安装的是Ubuntu14.04操作系统。
(1)确认系统版本
安装VirtualBox的过程其实非常简单,直接放上安装成功开始新建,如下图。
这里由于我用的acer电脑,比较老旧,我进入了BIOS查找了一通,发现无法改开启CPU虚拟化,所以我只能选择下载32位的Ubuntu。
(2)安装Ubuntu
安装Ubuntu里面最重要的步骤就是确认安装类型,点击“安装这个第三方软件”,由于有时候忘记,我安装了大约4个Ubuntu才在这一步上成功(前面三个虚拟机安装完成后总会多多少少出现一些问题,我秉持着不破不立的态度,重新安装了)。如下图
2.安装Hadoop
(1)创建Hadoop用户
如下图
(2)SSH登陆权限设置
安装SSH server如下图
配置SSH无密码登录状态
安装完成后,进行ssh localhost验证,验证成功
(3)安装Java环境
安装openjdk-7-jdk和openjdk-7-jre过程如下图
配置JAVA_HOME环境变量,首先找到Javac的路径,通过
dpkg -L openjdk-7-jdk | grep ‘/bin/javac’
找到JAVA_HOME的路径,如下图
在 ~/.bashrc中配置
使环境变量生效,并验证是否配置成功,如下图
(4)配置Hadoop
1.单机安装配置:
下载Hadoop,并将Hadoop安装至/usr/local中,如下图
显示Hadoop信息,验证是否可用。如下图:
2.伪分布式安装
修改配置文core-site.xml和hdfs-site.xml,如下图
成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示。开启守护线程后通过命令jps判断是否成功启动,成功启动啦!如下图
访问Web界面,http://localhost:50070查看相关内容,如下图
安装配置完成!
遇到的问题和解决方法
问题1:关于MacBook的尝试
开始我想直接装到我的MacBook上,毕竟MacBook也是Linux嘛,开始我直接在终端尝试了命令sudo useradd直接失败了(如下图),我就放弃了在MacBook上安装的不成熟的想法。
问题2:在MacBook上,使用VMware虚拟机的尝试
经过了MacBook上直接配饰Hadoop失败后,我依旧不想按照老师给的方法来,我想在MacBook的VMware上安装Ubuntu,有碰到的问题就是两个显示器的分辨率不同的问题,因为分辨率的关系,Ubuntu的屏幕无法显示完整的安装界面,当我选择“安装这个第三方软件”后,下一个界面下方的按钮无法显示(如下图),我也就无法进行下一步操作了。
解决方法:
开始我在网上查到的,都是Windows的解决方法,即Alt+鼠标左键即可简单的粗暴地解决问题,但是,MacBook不同,经过大浪淘沙后,解决办法是option+F7+鼠标左键可以解决,解决后界面如下图,即可正常安装
问题3:SSH无密码登录状态
终于在用非常不适配的MacBook上装好了Ubuntu,开始设置了SSH登录。遇到的问题就是,我输入完了老师给的四条命令(如下图)后,用ssh localhost登录还是需要密码的,
而且输入的时候还会提示没有目录(如下图)
解决方法:
最后发现还是没学过Linux的痛hhh,根本不知道老师给的命令是什么意思就照着作业指导一通抄。应该是在上面四条命令的第三步输入完成后按回车直到计算机完成任务,再写的四步(如下图)
配置成功后,可以无密码输入,如下图
问题4:下载Java速度过慢导致安装不全
终于在用非常不适配的MacBook上装好了Ubuntu,我开始安装Java,但是由于下载速度太慢(15Kb/s),到最后直接提示丢包了,按照他的提示输入—fix-missing后又因为权限不够无法下载,如下图
然后我又将Java删除,删除后重新下载时会提示要么没有可安装候选,要么提示已经下载过了,存在这个文件。
解决方法:
更换成阿里云的镜像,下载速度呈“指数倍”上升,问题迎刃而解,如下图(关于阿里云镜像怎么配,大家随便一搜就有啦)
上图为更改前
上图为更改后
问题5:配置JAVA_HOME环境变量时,丢失javac
开始的时候我选择的是openjdk-8-jdk,但是将jdk和jre全部下载完后无法找到javac,经过查询发现如果jdk和jre放在一个文件里会将javac覆盖。
解决方法:
老老实实下载openjdk-7-jdk和openjdk-7-jre。使用了7后,javac就能找到了,如下图
问题6:进行Hadoop伪分布式安装的时候,修改配置文件如何保存的问题
开始我看到只是改个.xml文件就成,一想反正我不会Linux,那我直接打开改好了,等我按照老师给的配置文件内容一点点敲完保存的时候就傻眼了,电脑提示我权限不够,如下图
问题还没完,之后我又按照老师给的方法老老实实地用vim写完,正常保存退出的时候发现也是因为权限问题无法保存hhh
解决方法:
经过上网查询,要使用w! sudo tee %,才能保存,如下图
问题7:NameNode格式化的问题
老师在作业指导上就说过可能出现“Exiting with status 1”报错的问题,我果然遇到了这个问题。如下图
解决方法:
经过网上查询,找到解决方法:
修改文件权限:sudo su转为root身份
sudo chmod -R a+w /opt/hadoop/
最后重新进行NameNode格式化成功,如下图(这里忘记截图了,就用一下老师的图)
问题8 :启动失败
通过老师给的步骤,启动了Hadoop后发现只有一个进程!功亏一篑!一瞬间我快绝望了,如下图
解决方法:
重新格式化一遍就好了!如下图
网站也可以正常打开,如下图;