虚拟机安装hadoop时发生的错误

  • 下载更新apt
  • 安装Java环境
  • 安装Hadoop



(本人初学者,想记录下来学习过程中的磕磕绊绊,有错误请评论指出我会积极改正)

下载更新apt

首先在进行apt更新时,应该会普遍遇到下载速度奇慢无比的问题,这里我是通过切换下载源(切换成阿里云)的方法解决的,具体就是在桌面右上角的图标里:系统设置>软件和更新>下载自,中自动搜索适合的下载源,切换到aliyun后就可以开始愉快的下载更新了。

安装Java环境

这个环节我没有遇到什么问题,需要注意的就是有两种安装方式:
sudo apt-get install openjdk-7-jre openjdk-7-jdk
sudo apt-get install default-jre default-jdk 这两种,
我使用的是第二种,据说有部分电脑使用第一种会安装失败。

安装Hadoop

我参考的教材是清华大学出版社出版,林子雨先生编著的《大数据基础编程、实验和案例教程》此书进行讲解的时候是使用的hadoop 2.7.1版本,而我在官网(http://mirrors.cnnic.cn/apache/hadoop/common)上下载的是最新的3.2.1版本。

值得注意的是,这部分有很多命令很长很容易写错,一定要认真敲,错一个找一天。也可以在我前面说的那本书的官网直接复制代码,这里说一个我才学到的在终端中粘贴的方法,即:选好需要复制的内容,右键复制,然后在终端中按一下鼠标滚轮(是按不是滚),就能粘贴成功啦。

安装过程网上很多,这里就不再赘述,说一下我遇到问题的地方,就是在安装hadoop成功,且启动成功后,可以在linux系统中,在浏览器中输入地址:http://localhost:50070可以查看名称节点和数据节点信息。还可以在线查看HDFS中的文件

  • 问题:成功启动Hadoop后不能正确的在web中查看

这里遇到了困扰我很久的问题就是,启动成功了,但是并不能在web中查看,而是显示加载失败。在网上找了很多解决的方法,包括更改配置文件,关闭防火墙等(当然有一部分人可以通过改变这两个解决问题),但是我试过后都没有用。

最后解决的方法是,将地址改为http://localhost:9870.因为在hadoop的3.x版本中已经将UI界面的地址改变了,再使用书中的50070自然没法访问。