hadoop模块 

   Hadoop Common：支持其他Hadoop模块的常用实用程序。
    Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
    Hadoop YARN：作业调度和集群资源管理的框架。
    Hadoop MapReduce：基于YARN的系统，用于并行处理大型数据集。（一种计算框架）
    Hadoop Ozone： Hadoop的对象存储。（后来新增）

三种运行模式

本地（独立）模式：Hadoop配置为以非分布式模式运行，作为单个Java进程。这对调试很有用
伪分布式模式：Hadoop还可以在伪分布式模式下在单节点上运行，其中每个Hadoop守护程序在单独的Java进程中运行
                         在一台机器上运行hdfs文件系统，运行mr程序，从hdfs上获取数据，结果存放到hdfs上
完全分布式模式 ：运行在多台机器上，同时只有一个hdfs系统
hadoop下载地址：https://archive.apache.org/dist/hadoop/common/

hadoop单节点安装步骤

安装linux操作系统（略）
安装java（如果存在系统自带java，请先卸载）
                    查询是否有其他版本java
                           rpm -qa | grep java
                    卸载其他版本java
                          rpm -e --nodeps javaxxxxxxxxxx
                    创建软连接
                          ln -s /home/hyxy/soft/jdk1.8.0_151  /home/hyxy/soft/jdk
                    配置环境变量
                          vim ~/.bashrc                 
                                   【JAVA_HOME=/home/hyxy/soft/jdk

                                      PATH=$PATH:$JAVA_HOME/bin

                                      export JAVA_HOME

                                      export PATH】

                   修改文件后保存退出esc+:wq

                   生效环境变量：source  ~/.bashrc
   测试
            java -version
安装hadoop
            解压hadoop文件
                      tar -zxvf 文件名
            删除安装包
                        rm 文件名
            创建软连接
                        ln -s /home/hyxy/soft/hadoop-2.7.3 /home/hyxy/soft/hadoop
             配置环境变量：
                      vim ~/.bashrc 
                                  【HADOOP_HOME=/home/hyxy/soft/hadoop
                                      PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH】
              source ~/.bashrc

测试
            hadoop version
测试mr圆周率
            hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 10 100000

hadoop伪分布式

开启sudo
           切换到root用户
           编辑/etc/sudoers
           复制一次root权限
           然后更改root为自己的用户名（hyxy    ALL=(ALL)       ALL）
修改主机名
           sudo vim /etc/sysconfig/network
           hostname=master
配置静态ip：
           sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
            DEVICE=eth0
            TYPE=Ethernet
            ONBOOT=yes
            BOOTPROTO=none
            IPADDR=192.168.126.104
            GATEWAY=192.168.126.2
            DNS1=192.168.126.2
            NAME="System eth0"
        简单方式（图形化界面）
            两个电脑的小图标右键选择第3个（配置信息）
            把弹出的对话框拖到左侧
            两个电脑的小图标右键选择第4个（修改网络配置）
            选择system eth0 点击edit
            选择ipv4 settings选项卡
            method调整为manual
            点击add
            填入左侧显示的对应的信息
 配置ip和主机名的映射
           sudo vim /etc/hosts
           192.168.126.104    master
ping master验证
修改配置文件
        core-site.xml
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
            </property>
        hdfs-site.xml
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        slaves(配置datanode节点)
            master
 配置免密登录
          $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
          $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
          $ chmod 0600 ~/.ssh/authorized_keys
格式化namenode
           hdfs namenode -format
           如果Error: JAVA_HOME is not set and could not be found.
           修改hadoop-env.sh
            export JAVA_HOME=/home/hyxy/soft/jdk    
启动hdfs
           start-dfs.sh
单独启动namenode
           hadoop-daemon.sh start namenode
单独启动SecondaryNameNode
           hadoop-daemon.sh start secondarynamenode
单独启动datanode
           hadoop-daemon.sh start datanode

 访问网页:http://主机ip:50070
如果登录不了，检查是非关闭防火墙
               sudo service iptables off
               sudo chkconfig iptables off
               sudo chkconfig ip6tables off

查看运行日志：vim /home/hyxy/soft/hadoop/logs/hadoop-hyxy-namenode-master.log