需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么

转载

mob6454cc6328d1 2023-11-07 01:05:50

文章标签 需要安装hadoop才能连hbase吗 hadoop 大数据 hdfs xml 文章分类 Hadoop 大数据

简述
详细安装配置步骤

1、安装jdk
2、下载安装hadoop

2.1 下载
2.2 解压安装
2.3 配置环境变量
2.4 配置cmd与xml文件

设置完毕启动hadoop

简述

报错内容：Could not locate executable null\bin\winutils.exe in the Hadoop binaries
报错原因：未配置hadoop组件
在配置idea运行电影推荐系统时，如果没有安装配置hadoop，虽然项目可以正常启动，但是黑框内会报错，且个别推荐系统功能无法使用。
下面进行具体步骤讲解

详细安装配置步骤

1、安装jdk

在安装hadoop组件前一定要安装jdk，且注意版本兼容问题，我的是jdk1.8+hadoop2.2.0可以完美运行，供参考

jdk1.8网上的安装配置步骤很全，主要流程是：解压、环境变量JAVA_HOME、PATH、CLASSPATH，最后黑框输入java -version查看运行结果如下

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_hdfs

2、下载安装hadoop

2.1 下载

简要说明一下hadoop官方是没给windows版本的，都是linux改过来的，也因此导致hadoop安装过于困难，在此，我给出来已经配置好的hadoop2.2.0压缩包，直接解压到本地硬盘就好了。（温馨提醒，最好下载上，网上很多版本缺文件不是缺winutils就是bin文件夹里少文件）
下载链接，如无效请看评论区

2.2 解压安装

在这里，我解压到了 C:\Hadoop\hadoop-2.2.0

如下图所示：

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_hadoop_02

2.3 配置环境变量

打开我的电脑，右击属性

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_hadoop_03

点击：高级系统设置

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_需要安装hadoop才能连hbase吗_04

点下方的环境变量设置

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_需要安装hadoop才能连hbase吗_05

新建系统环境变量

变量名：HADOOP_HOME ，变量值：C:\Hadoop\hadoop-2.2.0

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_hadoop_06

点击确定配置完成

2.4 配置cmd与xml文件

进入C:\Hadoop\hadoop-2.2.0\etc\hadoop（看你自己的解压路径/etc/hadoop）
一共要修改以下5个文件
hadoop-env.cmd
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

修改hadoop-env.cmd内容如下：
第25行设置你的jdk路径，注意！注意！注意！

set JAVA_HOME= C:\PROGRA~1\Java\jdk1.8\jdk1.8.0_73

Program Files中间有空格，要改写成PROGRA~1
如，我的jdk路径是C:\Program Files\Java\jdk1.8\jdk1.8.0_73就要改写成C:*PROGRA~1*\Java\jdk1.8\jdk1.8.0_73

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_hadoop_07

修改core-site.xml文件内容如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_大数据_08

修改hdfs-site.xml内容如下

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_xml_09

修改mapred-site.xml内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_xml_10

修改yarn-site.xml内容如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

需要安装hadoop才能连hbase吗 win10安装hadoop之前需要安装什么_大数据_11