Windows 10 安装和配置Hadoop
下载
- 下载最新的Hadoop包。这里假设Java已经安装成功了,各种环境变量也都设置好了。
- 把文件解压。最好找一个长度短点的路径,不然有时路径里的空格也会引起问题。解压好了就算是安装了。
- 我们这里放在F盘下如图
配置环境变量
- 设置环境变量。新手一定不能因为好多的路径就跳过去这一步,这个是必不可少的。 首先设置名为HADOOP_HOME的System variables (新建点击New)。把我的路径名改成你的,记住一定要是到bin的路径
- 下来设置Path。还是在System variables里 ,双击Path点进去就是下面的样子
- 红色的即为我hadoop所在的路径,具体的请换成你们自己的路径
配置hadoop
- 第一个是在Hadoop的根目录下创建文件夹data,然后在其下创建两个子文件夹datanode和namenode,如图所示
- 确认…/etc/hadoop/core-site.xml文件中有如下代码
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 确认…/etc/hadoop/mapred-site.xml文件中有如下代码:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 确认…/etc/hadoop/hdfs-site.xml文件中有如下代码(记得用你自己的namenode和datanode的地址代替下面的地址。)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>F:\hadoop\hadoop-3.1.2\data\namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>F:\hadoop\hadoop-3.1.2\data\datanode</value>
</property>
</configuration>
- 确认…/etc/hadoop/yarn-site.xml文件中有如下代码
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoopMaster:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value> hadoopMaster:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> hadoopMaster:8031</value>
</property>
</configuration>
- 第六个是确认…/etc/hadoop/hadoop-env.cmd文件中有如下修改
[外链图片转存失败(img-ihfGgFms-1565253858079)(C:\Users\Administrator\Desktop\1565251757(1)].png)
马上就大功告成啦!现在我们配置一下文件格式。通过cmd进入文件夹F:\hadoop\hadoop-3.1.2\bin。然后运行
hdfs namenode -format
添加winutils
现在还运行不起来,需要添加winutils包到F:\hadoop\hadoop-3.1.2\bin内,我们先找到对应版本的winutils 我的版本是3.12所以我找了一个3.10版本的,链接,下载完成后,将bin/目录下的东西放到对应的目录,如图
启动
进入sbin文件输入:start-all.cmd。之后会有是四个窗口跳出来,分别是:
- Hadoop Namenode
- Hadoop datanode
- YARN Resourc Manager
- YARN Node Manager
如果能能放可以访问http://localhost:9870 出现如下图,则说明hadoop已经启动成功