第一步:安装JDK,点击一下链接下载JDK,并安装。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安装过程中,第一小步安装jdk,第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。(不能都安装在java文件夹的根目录下,jdk和jre安装在同一文件夹会出错)

hadoop win 环境配置 如何配置hadoop环境变量_JAVA

第二步:配置环境变量,找到 计算机→属性→高级系统设置→高级→环境变量

hadoop win 环境配置 如何配置hadoop环境变量_系统变量_02

系统变量→新建 JAVA_HOME 变量 。

变量值填写jdk的安装目录(本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系统变量→寻找 Path 变量→编辑
在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

(注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)

hadoop win 环境配置 如何配置hadoop环境变量_hadoop_03

系统变量→新建 CLASSPATH 变量
变量值填写   .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一点)
系统变量配置完毕

检验是否配置成功 运行cmd 输入 java -version (java 和 -version 之间有空格)

若如图所示 显示版本信息 则说明安装和配置成功。

hadoop win 环境配置 如何配置hadoop环境变量_hadoop win 环境配置_04

注意,在这个地方有一个Java的环境变量配置中不能出现空格,否则hadoop配置不会成功,跑不起来。我这里JDK安装的目录就有空格,如下图,本来是C盘program files下Java文件夹,在JAVA_HOME配置那个地方直接用PROGRA~1代替program files

hadoop win 环境配置 如何配置hadoop环境变量_系统变量_05

第三步:下载hadoop并安装

hadoop安装步骤可以参考 

或者 这两篇就OK啦,很简单的。

需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml

hadoop win 环境配置 如何配置hadoop环境变量_JAVA_06

其他就没什么了,配好之后cmd打开控制台,运行

hadoop namenode -format

可以看到如下图的效果就配好了。

hadoop win 环境配置 如何配置hadoop环境变量_hadoop_07

接着使用  start-all.cmd 命令启动服务

启动这四个服务:

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager 

hadoop win 环境配置 如何配置hadoop环境变量_hadoop win 环境配置_08

如果有服务没启动起来,看下报啥错。这里我本来也没启动起来,打开Hadoop/etc/hadoop 下的hadoop-env.cmd文件 把Java_home值改成jdk安装的绝对路径。

hadoop win 环境配置 如何配置hadoop环境变量_系统变量_09

HDFS应用

在浏览器输入 http://127.0.0.1:8088/cluster 就能看到集群所有节点的状态

hadoop win 环境配置 如何配置hadoop环境变量_JAVA_10

2、访问http://localhost:9870/即可查看文件管理页面:

进入文件管理页面:如果这里打不开不对的话,重新用  hdfs namenode -format命令建一下namenode,然后去D:\hadoop\data\dfs\namenode 里头(hdfs-site.xml里配的namenode和datanode保存的路径,自己建下文件夹)看下有没有东西,如果有东西了就是已经成功。这样才能访问文件管理页面。

hadoop win 环境配置 如何配置hadoop环境变量_JAVA_11

第四步 安装Spark

点击链接可下载Spark:http://spark.apache.org/downloads.html,可根据自己安装的hadoop版本在箭头位置选择自己对应的版本。

hadoop win 环境配置 如何配置hadoop环境变量_系统变量_12

下载完之后直接,解压安装就可以了,很简单的。

然后cmd 在DOS下输入:

spark-shell

hadoop win 环境配置 如何配置hadoop环境变量_hadoop_13

酱紫就安装成功了。

但这个时候每次运行spark-shell(spark的命令行交互窗口)的时候,都需要先cd到Spark的安装目录下,比较麻烦,因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\spark-2.3.0-bin-hadoop2.7\bin,那么就把这个路径名添加到系统变量的PATH中即可,方法和JDK安装过程中的环境变量设置一致,设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。