Hadoop入门知识（一）

Hadoop简介

Hadoop是Apache旗下的一个用java语言实现开源软件框架，主要解决海量数据的存储和海量数据分析。官网是：hadoop官网

hadoop的优势：

  • 高可靠性：Hadoop底层维护了多个数据副本，即使Hadoop某个计算元素或者存储出现故障也不会导致数据的丢失。
  • 高拓展性：在集群间分配任务数据，可方便的拓展数以千计的节点
  • 高效性：在MapReduce思想下，Hadoop是并行工作的，以加快任务处理速度
  • 高容错：能够自动将失败的任务重新分配

hadoop的运行模式一共有三种：本地模式、伪分布模式和完全分布模式

Hadoop组成

Hadoop包含四个组件：

组件名称

作用

MapReduce

计算

Yarn

资源调度

HDFS

数据存储

Common

辅助工具

Hadoop1.x和Hadoop2.x的区别：Hodoop1.x的MapReduce同时负责计算和资源调度，2.x后增加了yarn单独的负责资源调度。

  1. HDFS

组件名称

作用

NameNode(nn)

存储文件的元数据，如文件名，文件的目录结构，以及每个文件的块列表和块所在的DataNode

DataNode(dn)

存储文件的块信息和块数据的校验和

SecondaryNameNode(2nn)

用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS的元数据快照

  1. Yarn

组件名称

作用

ResourceManager(RM)

（1）处理客户端请求（2）监控NodeManager（3）启动或监控ApplicationMaster（4）资源的分配与调度

NodeManager(NM)

（1）管理单个节点上的资源（2）处理来自ResourceManager的命令（3）处理来自ApplicationMaster的命令

ApplicationMaster(AM)

（1）负责数据的切分（2）为应用程序申请资源并分配给内部的任务（3）任务的监控与容错

Container

资源抽象，它封装了某个节点的多维度资源，比如内存、磁盘、CPU等

  1. MapReduce
    分为两个阶段：Map和Reduce
  • Map阶段：将任务分配个不同的节点，并行处理输入数据
  • Reduce阶段：对Map结果进行汇总
  1. Common
Hadoop技术生态体系

hadoop 全部进程 hadoop1.0架构中不同进程的作用_hadoop

Hadoop安装
  1. 下载软件安装包
    hadoop-2.10.0下载地址
  2. 将软件包通过ftp传输到虚拟机
  3. 解压安装
    tar -xzvf hadoop-2.10.0.tar.gz -C /usr/local/
  4. 配置hadoop环境变量
    在/etc/profile中加入以下两句:
    export HADOOP_HOME=/usr/local/hadoop-2.10.0export PATH=\$PATH:\$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  5. 验证
    输入命令source /etc/profile/使配置生效
    输入hadoop查看hadoop信息
Hadoop目录结构

目录

作用

bin

存放Hadoop相关服务进行操作的脚本

etc

hadoop的配置文件目录，存放配置文件

lib

存放Hadoop的本地库（对数据压缩解压缩功能）

sbin

存放启动或停止hadoop的脚本

share

存放Hadoop的依赖jar包，文档和官方案例

Hadoop的本地模式

官方的grep案例：

  1. 进入到hadoop目录中，并且创建目录 input
    mkdir input
  2. 将hadoop的etc目录下的部分配置文件拷贝到input中
    cp etc/hadoop/*.xml input
  3. 执行share目录下的mapReduce程序(必须在hadoop目录下)
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar grep input output 'dfs[a-z.]+'
  4. 输出结果
    cat output/*

官方的 WordCount 案例：

  1. 进入到hadoop目录中，并且创建目录 wcinput
    mkdir wcinput
  2. 在wcinput中创建文件wc.input
    touch wc.input
  3. 在文件中用vim输入以下内容：
    hadoop yarn is easyhadoop mapreduce is easy too
  4. 执行share目录下的mapReduce程序(必须在hadoop目录下)
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount wcinput wcoutput
  5. 输出结果
    cat wcoutput/* 可以看到结果中已经将wc.input中的单词统计了出来
Hadoop的伪分布式模式

配置完全是按照集群模式配置，但是只有一台机器，可以用来学习。

  • 配置集群
  1. 配置core-site.xml,添加到configuration标签中：
<!--指定HDFS中 NameNode的地址，此时本地模式就无效了-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://虚拟机的IP地址:9000</value>
</property>
<!--指定Hadoop运行时产生文件的存储目录-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop-2.10.0/data/tmp</value>
</property>
  1. 配置hdfs-site.xml,添加到configuration标签中：
<!--指定HDFS副本的数量，默认为 3-->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
  1. 配置hadoop-env.sh
    将其中的JAVA_HOME修改为自己 jdk的位置:
    export JAVA_HOME=/usr/local/jdk1.8.0_251
  • 启动集群
  1. 格式化NameNode（第一次直接启动时格式化，以后就不要总格式化，否则格式化之前先将namenode和datanode停止，再将logs和data目录删除后再格式化）
    bin/hdfs namenode -format
  2. 启动NameNode
    sbin/hadoop-daemon.sh start namenode
  3. 启动DataNode
    sbin/hadoop-daemon.sh start datanode
  • 查看集群
  1. 查看是否启动成功
    命令行输入jps命令查看两个节点是否启动
  2. 查看HDFS文件系统
    http://虚拟机的IP地址:50070
  3. 查看产生的Log日志
    在hadoop的根目录下进入logs目录，其中保存了日志信息
  • 操作集群
  1. 在HDFS文件系统上创建一个input文件夹
    命令行输入：bin/hdfs dfs -mkdir -p /user/nwu_lk/input
  2. 将测试文件内容上传到文件系统上
    命令行输入：bin/hdfs dfs -put wcinput/wc.input /user/nwu_lk/input/ 该操作将本地的wc.input文件上传到/user/nwu_lk/input/目录下
  3. 查看上传的文件是否存在
    命令行输入：bin/hdfs dfs -ls /user/nwu_lk/input/
  4. 运行MapReduce程序
    命令行输入：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/nwu_lk/input /user/nwu_lk/output
  5. 查看运行结果
    命令行输入：bin/hdfs dfs -cat /user/nwu_lk/output/*
  • 启动YARN并运行MapReduce程序
  1. 配置yarn-env.sh
    将其中的JAVA_HOME修改为自己 jdk的位置:
    export JAVA_HOME=/usr/local/jdk1.8.0_251
  2. 配置yarn-site.xml
<!--Reduce获取数据的方式-->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn的ResourceManager的位置-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>自己虚拟机的IP地址</value>
</property>
  1. 配置mapred-env.sh
    将其中的JAVA_HOME修改为自己 jdk的位置:
    export JAVA_HOME=/usr/local/jdk1.8.0_251
  2. 将mapred-site.xml.template重命名为mapred-site.xml
    命令行输入：mv mapred-site.xml.template mapred-site.xml
  3. 在mapred-site.xml输入配置信息
<!--MapReduce运行在yarn上，默认本地运行-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
  1. 启动 resource manager 和 node manager
    sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager
  2. 查看成功与否
    浏览器输入：http://本地虚拟机IP地址:8088/
  3. 运行实例并查看8088的界面
    命令行输入：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/nwu_lk/input /user/nwu_lk/output
  • 配置历史服务器
  1. 在mapred-site.xml增加以下配置：
<!--历史服务器地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>192.168.192.138:10020</value>
</property>
<!--历史服务器web地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.192.138:19888</value>
</property>
  1. 启动历史服务器：sbin/mr-jobhistory-daemon.sh start historyservice
  2. 查看信息：http://虚拟机IP地址:19888/
  • 配置日志的聚集
    日志聚集：程序运行完后，将日志上传到HDFS中，优点就是可以很方便的查看程序运行情况，方便调试。（配置日志聚集需要重启ResourceManager、NodeManager和JobHistoryService）
  1. 在yarn-site.xml中添加以下配置
<!--日志聚集功能开启-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!--日志保留时间为7天-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
  1. 启动ResourceManager、NodeManager和JobHistoryService
下一篇介绍

Hadoop入门知识学习（二）

hadoop 全部进程 hadoop1.0架构中不同进程的作用_大数据_02