一.前言

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构,说白了就是一个庞大的任务,一台机器处理不过来,就分割成若干个子任务,让若干个机器来处理,最后将结果汇总。刚接触hadoop可能理解的不透彻,但是这都不重要,先把它安装下来再说,这里把我的整个安装步骤纪录下来。

二.安装Hadoop

  1.创建一个专门的hadoop管理员用户

  命令行执行:

  //创建组用户

  sudo addgroup hadoop

  sudo adduser -ingroup hadoop hadoop  

  //配置权限

  sudo vim/etc/sudoers 

  文件内添加 hadoop  ALL=(ALL:ALL) ALL

  //创建hadoop文件夹并将属主用户改为hadoop

  sudo mkdir /hadoop

  sudo chown -R hadoop:hadoop hadoop

 

  2.配置hadoop用户ssh无密码登录

  命令行执行:

  su hadoop

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  用ssh localhost测试一下是否还需输密码登录,如果还要密码,可能是根目录的权限问题。

  

  3.安装jdk

  首先java -version看一下是否安装java环境,如出现jvm版本号信息,则表示已有java环境,我的是会出现系统默认安装的openjdk,这里我把它卸载重新安装了jdk,步骤如下:

  卸载自带的openjdk:

  sudo apt-get purge openjdk*

  进入oracle官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载适合版本的jdk

  将安装包jdk-8u45-linux-i586.gz解压并copy到/usr/java下

  sudo tar -zxvf jdk-8u45-linux-i586.gz

  cp -r jdk-8u45-linux-i586.gz /usr/java

  配置环境变量:

  sudo vim /etc/profile

  写入:  

  export JAVA_HOME=/usr/java/jdk1.8.0 _45
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

  export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

  保存退出执行

  source /etc/profile

  修改系统jdk:

  命令行执行

  sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0 _45/bin/java 300 

  sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0 _45/bin/javac 300 

  选择你新安装的jdk版本

  sudo update-alternatives --config java 

  sudo update-alternatives --config javac

  

  最后再执行java -version看下java版本信息,如果失败可能是你安装的jdk不是你系统类型匹配的版本

 

  4.安装hadoop

  官网下载hadoop,我下载的是hadoop-1.2.1.tar.gz

  解压到之前新建的hadoop文件夹里

  配置hadoop环境变量:  

  export HADOOP_HOME_WARN_SUPPRESS=1

  export HADOOP_HOME=/hadoop/hadoop-1.2.1

  export PATH=${PATH}:${HADOOP_HOME}/bin:${JAVA_HOME}/bin:${JRE_HOME}/bin

 

  进入conf文件夹更改4个配置文件:

  1.hadopp-env.sh

  

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_linux

 

  2.mapred-site.xml

  

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_hadoop_02

 

 

  3.core-site.xml

  

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_hadoop_03

 

 

  4.hdfs-site.xml

  

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_hadoop_04

 

  这几个文件都只是一些简单的默认配置

  格式化hdfs:

  命令行执行

namenode -format

  出现下图即成功

  

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_java_05

 

 

  启动hadoop:

  命令行执行

  $HADOOP_HOME/bin/start-all.sh

  出现下图则成功

ubuntu mapreduce架构安装教程 ubuntu安装hadoop教程_hadoop_06

  

 

  停止hadoop的命令为:

  $HADOOP_HOME/bin/stop-all.sh

 

至此,hadoop的简单搭建就完成了,接下来就是深入了解~~