Win10安装Hadoop3.0.0

目录

一、下载hadoop3.0.0

二、下载winutils工具

三、配置环境变量

四、配置Hadoop

五、执行脚本文件

六、访问地址

七、注意事项

---

一、下载hadoop3.0.0

下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/
下载文件：hadoop-3.0.0.tar.gz

二、下载winutils工具

下载地址：https://github.com/steveloughran/winutils
下载文件：hadoop-3.0.0/bin

三、配置环境变量

1、解压安装包到：D:\Hadoop\HDFS\hadoop-3.0.0

2、将hadoop-3.0.0/bin文件复制一份，改名为hadoop-3.0.0/bin.template

3、将下载的 hadoop-3.0.0/bin 文件复制到 D:\Hadoop\HDFS\hadoop-3.0.0目录下

4、配置环境变量

变量名：HADOOP_HOME
变量值：D:\Hadoop\HDFS\hadoop-3.0.0

系统变量path变量中添加  

%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

四、配置Hadoop

1、进入目录：D:\Hadoop\HDFS\hadoop-3.0.0\etc\hadoop

2、在 根目录下创建 properties 文件夹

3、将 \etc\hadoop 目录下的 配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.cmd 文件复制到 \hadoop-3.0.0\properties 目录（方便修改，修改之后一键替换到 \hadoop-3.0.0\etc\hadoop 目录即可）

4、在 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录下创建两个脚本文件 hdfs-format.cmd、start-all.cmd

hadoop version

5、 Hadoop配置文件配置如下

hadoop-env.cmd 

@set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8

core-site.xml

<configuration> 
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value> 
  </property> 
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value> 
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/G:/hadoop/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/G:/hadoop/data/dfs/datanode</value>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>/G:/hadoop/data/dfs/snn</value>
  </property>
  <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>/G:/hadoop/data/dfs/snn</value>
  </property>
</configuration>

yarn-site.xml

<configuration> 
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

mapred-site.xml

<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property> 
</configuration>

6、初始化和启动脚本配置

hdfs-format.cmd

cd D:\Hadoop\HDFS\hadoop-3.0.0\bin && D:
hdfs namenode -format

start-all.cmd

cd D:\Hadoop\HDFS\hadoop-3.0.0\sbin && D:
D:\Hadoop\HDFS\hadoop-3.0.0\sbin\start-all.cmd

五、执行脚本文件

1、替换配置文件

把 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录下的文件全部替换到 D:\Hadoop\HDFS\hadoop-3.0.0\bin

2、初始化HDFS

进入 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录，点击执行 hdfs-format.cmd 文件

3、启动Hadoop和yarn

进入 D:\Hadoop\HDFS\hadoop-3.0.0\properties 目录，点击执行 start-all.cmd 文件

启动之后弹出四个窗口，如果窗口没有自动关闭或者自动停止则初始化成功

六、访问地址

yarn：http://127.0.0.1:8088/cluster

hdfs：http://localhost:9870/explorer.html#/

七、注意事项

1、JAVA_HOME设置，PROGRA~1 代表的是 Program Files 目录

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8

2、这里的安装路径是在 D:\Hadoop\HDFS\hadoop-3.0.0 

3、这里配置的HDFS的元数据目录是在 G:\hadoop\data\dfs