CentOS安装Hadoop单机版

1、首先安装jdk

下载jdk-7u45-linux-x64.tar.gz    地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg    提取码3z6s

放到/usr/local目录下

解压jdk，

tar -zxvf jdk-7u45-linux-x64.tar.gz

配置环境变量   vim /etc/profile  在文件末尾加上

JAVA_HOME=/usr/local/jdk1.7.0_45
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量配置  source /etc/profile

测试jdk安装是否成功，显示如下截图代表成功  java -version

2、安装hadoop2.9.2   下载hadoop2.9.2  地址http://mirrors.hust.edu.cn/apache/hadoop/common/

放到 /usr/local目录下 

解压   tar -zxvf hadoop-2.9.2.tar.gz    查看 ll

配置hadoop环境变量   vim /etc/profile   添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH

重新刷新配置 source /etc/profile

查看版本  hadoop version

配置几个配置文件，路径是  cd /usr/local/hadoop-2.9.2/etc/hadoop/

vim core-site.xml   添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://192.168.124.144:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

vim hadoop-env.sh   配置成你自己的jdk安装路径

vim hdfs-site.xml  添加如下内容

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>

<!--这里是你自己的ip，端口默认-->
        <value>192.168.124.144:50090</value>
    </property>

复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml  添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

配置yarn-site.xml   

vim yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.124.144</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置好之后切换到sbin目录下

 cd /usr/local/hadoop-2.9.2/sbin/  查看命令 ll

格式化hadoop文件格式，执行命令  hadoop namenode -format，成功之后启动

执行启动所有命令 ./start-all.sh 

没启动一个进程需要输入密码，可以通过配置ssh来解决，就不需要输入了，暂时配置

使用  jps   查看进程，能看到这些进程证明启动成功了，

也可以通过网页来查看  localhost:50070

我用的是虚拟机安装的，在里面访问的地址，没有问题，如果想在外面访问，需要关闭防火墙

关闭防火墙的方法为：
    1. 永久性生效
        开启：chkconfig iptables on
        关闭：chkconfig iptables off
    2. 即时生效，重启后失效
        开启：service iptables start
        关闭：service iptables stop