写在前面:

1、 本次实验Ubuntu是安装在VMware14 pro中,确保Ubuntu能正常联网;

2、目前Ubuntu最新版本是Ubuntu18.04,Hadoop最新版本是Hadoop3.1.1,我们这里由于其他实验环境要求,我们没有使用最新版本的。

 

安装步骤:

一:安装jdk1.6

1、在ubuntu中的火狐浏览器中进入:https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html

在以下页面中:同意许可,找到Linux版本jdk6u45,即可下载(这里首次下载可能会跳出登录oracle账号界面,这里可以快速注册一个,过程很简单)

ubunyu安装 hadoop_ubunyu安装 hadoop

 

2、jdk下载完成后,是默认在Download文件夹下,这里下载下来的是bin文件。

  在/usr/local下创建一个文件夹来存放jdk文件:

$ sudo mkdir /usr/local/java

   将下载下来的jdk解压并移动到到java文件夹下:

$ chmod 755 jdk-6u45-linux-x64.bin  //添加权限
$ ./jdk-6u45-linux-x64.bin          //这里解压后会生成jdk1.6.0_45文件
$ chmod 755 jdk1.6.0_45
$ sudo mv jdk1.6.0_45 /usr/local/java       //移动jdk文件

 

 3、配置环境变量

  更新apt:

$ sudo apt-get update

  安装vim编辑器:

$ sudo apt-get install vim

 用vim打开配置文件配置Java环境变量:

$ sudo vim /etc/profile

ubunyu安装 hadoop_Hadoop_02


   

配置环境变量后还需要使环境变量生效:

$ source /etc/profile

验证环境变量是否生效:注意只有java -version和$JAVA_HOME/bin/java -version都可以才算配置成功。

hjc@ubuntu:~$ java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
hjc@ubuntu:~$ $JAVA_HOME/bin/java -version  
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

 

二、安装SSH、配置SSH无密码登陆

$ sudo apt-get install openssh-server

 安装后,可以使用如下命令登陆本机:

$ ssh localhost

但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

$ exit                           # 退出刚才的 ssh localhost
$ cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
$ ssh-keygen -t rsa              # 会有提示,都按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

 

三、安装Hadoop1.0.1

1、下载Hadoop1.0.1

https://archive.apache.org/dist/hadoop/core/hadoop-1.0.1/hadoop-1.0.1.tar.gz

2、下载完Hadoop1.0.1后,同样在/usr/local下创建一个Hadoop文件夹,并将下载下来的压缩包解压到该文件夹下

$ mkdir /usr/local/hadoop    
$ sudo tar -zxf hadoop-1.0.1.tar.gz       //解压后生成hadoop-1.0.1
$ sudo mv hadoop-1.0.1 /usr/local/hadoop
$ sudo mv hadoop-1.0.1 hadoop         //改名

  检验安装是否正确

hjc@ubuntu:/usr/local/hadoop$ ./bin/hadoop version
Hadoop 1.0.1

3、配置Hadoop环境变量(使在任何路径下都能使用Hadoop)

$ vim /etc/profile

ubunyu安装 hadoop_jdk1.6_03

 

 4、配置Hadoop伪分布式

 配置文件路径:/usr/local/hadoop/conf    (注意这里的配置文件的路径与Hadoop2是不同的)

 需要配置的文件: 、conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml

 (1)、配置

$ sudo vim 

ubunyu安装 hadoop_Ubuntu_04

(2)、配置conf/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>~/hadoop/tmp</value>
    </property>
    <property>
         <name></name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

(3)、配置conf/hdfs-site.xml

<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value>
     </property>
</configuration>

(4)、配置conf/mapred-site.xml

<configuration>
         <property>
             <name>mapred.job.tracker</name>
             <value>localhost:9001</value>
         </property>
    </configuration>

5、格式化节点

$ bin/hadoop namenode -format

开启Hadoop进程

@ubuntu:/usr/local/hadoop/bin$ ./
                                 //如果这里失败,则修改Hadoop文件夹的权限为755

查看正在运行的进程

jps
 13330 Jps
 7019 JobTracker
 10725 DataNode
 13149 SecondaryNameNode
 10584 NameNode
 11018 TaskTracker

以上则完成Hadoop1.0.1伪分布式配置的全部内容。