一直想写一下自己学习hadoop的经历,用来协助自己了解整个学习的进程,并帮助更多的初学者进行学习。

本文介绍的所有信息都是在ubuntu14.04上,jdk1.8,hadoop2.7.4

下面分几部分介绍些整个的学习进程。

1、ubuntu系统上安装hadoop

hadoop是运行在linux系统下的java程序,因此首先需要安装一个linux系统,作者选择的是vmwork+ubuntu14.04 64位系统作为开发的环境。对于如何使用vmwork安装ubuntu系统,请百度相关信息

vmwork 下载地址 vmWork 密码:ohsl

ubuntu 下载地址 ubuntu14.04 密码: 9stz

现在默认为大家都安装完成ubuntu系统。

1、ubuntu上安装jdk

由于hadoop最终是使用java进行开发以及编译的,因此需要使用jdk。在ubuntu系统中可以使用apt-get install jdk安装jdk,但是由于在安装hadoop时,需要使用jdk目录中的一部分文件,使用apt-get install 安装的jdk,其中的bin、以及conf等文件最总会被分割到不同的地方,因此建议直接下载jdk后进行配置。

可以去orcale官网进行下载,下面给出jdk的百度网盘路径:JDK8.密码:dqk7。

将jdk-8u151-linux-x64.tar.gz拷贝到ubuntu对应的用户文件夹下。

使用命令

$tar -xvzf jdk-8u151-linux-x64.tar.gz

进行解压到文件夹下。如图

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_操作系统


解压完后得到相应的文件。由于用户目录一般仅是用于保存用户的数据,我们需要将安装的软件保存在/usr/soft中。

使用

$cd /usr

进入usr目录,在usr目录中创建文件夹,需要管理员权限,因此需要使用sudo,

$sudo mkdir soft

输入密码后创建成功。

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_操作系统_02


创建成功后需要修改该文件夹的权限,让用户具有写和执行的权限。

$sudo chmod 777 soft

并使用ls -al查看相应的权限是否成功

$ls -al

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_ubuntu安装hadoop步骤_03


将jdk 拷贝到soft中

$mv /home/zhaofan/Downloads/jdk1.8.0_151 /usr/soft

配置环境变量

$sudo gedit /etc/environment

在该文件中添加JAVA_HOME让其指向jdk安装目录,同时在PATH中添加对应的bin

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_大数据_04


编辑完成后,受用source让改配置文件立即生效

$source /etc/environment

$java -version

可以看到java 的版本号,至此jdk安装完成

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_hadoop_05


2、安装hadoop

去apache中下载hadoop,或者点击下面链接去百度网盘下载,下载密码:2vc9

hadoop下载地址下载完成后,同样将其解压到soft文件夹中

$tar -xvzf hadoop-2.7.4.tar.gz

在soft文件夹中会出现jdk和hadoop两个文件夹

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_ubuntu安装hadoop步骤_06


同样在enviroment中添加环境变量,配置完成后如下图。

$sudo gedit /etc/environment

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_操作系统_07


$source /etc/environment

使用上面命令让环境变量起作用。

$hadoop version

进行查看hadoop的版本信息,如果提示缺少JAVA_HONE,请查看是否配置JDK,如果配置后,请重启后查看hadoop的版本

ubuntu安装hadoop步骤 ubuntu如何安装hadoop_java_08