hadoop分布式集群

原创

wbj0110 2023-03-22 22:42:01 博主文章分类：Hadoop ©著作权

文章标签 hadoop分布式集群 Hadoop hadoop oracle java 文章分类 JavaScript 前端开发

©著作权归作者所有：来自51CTO博客作者wbj0110的原创作品，请联系作者获取转载授权，否则将追究法律责任

hadoop的基础知识我就不在这里介绍了，任何有关hadoop书籍中都有非常详细的原理以及其开源框架(HDFS、Mapreduce、combiner、Partitioner等)、子项目(Hive、Hbase等)的介绍以及讲解，而这些方面的知识也不是在短期内能够了解和深入的，有一个循序渐进的过程，我这里只是针对其集群结合介绍其原理介绍，让大家更快速的对hadoop有一个了解，但也请大家意识到，会搭建集群并不代表掌握了hadoop，集群的搭建之后，会涉及到集群的深度优化、多集群、性能调优等，除了hadoop集群之外还要深入的了解他的子项目以及框架才能更好的利用Hadoop来达到最佳效果

集群网络图

文件写入：
1. Client向NameNode发起文件写入的请求。
2. NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
3. Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
文件读取：
1. Client向NameNode发起文件读取的请求。
2. NameNode返回文件存储的DataNode的信息。
3. Client读取文件信息。
文件Block复制：
1. NameNode发现部分文件的Block不符合最小复制数或者部分DataNode失效。
2. 通知DataNode相互复制Block。
3. DataNode开始直接相互复制。
图：

Hadoop集群流程

流程如下：1．  分布式环境中客户端创建任务并提交。
2． InputFormat做Map前的预处理，主要负责以下工作：
a)   验证输入的格式是否符合JobConfig的输入定义，这个在实现Map和构建Conf的时候就会知道，不定义可以是Writable的任意子类。
b)   将input的文件split为逻辑上的输入InputSplit，其实这就是在上面提到的在分布式文件系统中blocksize是有大小限制的，因此大文件会被划分为多个block。
c)   通过RecordReader来再次处理inputsplit为一组records，输出给Map。（inputsplit只是逻辑切分的第一步，但是如何根据文件中的信息来切分还需要   RecordReader来实现，例如最简单的默认方式就是回车换行的切分）

3． RecordReader处理后的结果作为Map的输入，Map执行定义的Map逻辑，输出处理后的key,value对到临时中间文件。
4． Combiner可选择配置，主要作用是在每一个Map执行完分析以后，在本地优先作Reduce的工作，减少在Reduce过程中的数据传输量。
5． Partitioner可选择配置，主要作用是在多个Reduce的情况下，指定Map的结果由某一个Reduce处理，每一个Reduce都会有单独的输出文件。
6． Reduce执行具体的业务逻辑，并且将处理结果输出给OutputFormat。
7． OutputFormat的职责是，验证输出目录是否已经存在，同时验证输出结果类型是否如Config中配置，最后输出Reduce汇总后的结果。

Hadoop相关配置

下载hadoop后（我使用的是1.1.2版本），jdk(这里我就不讲解jdk的配置了)
配置环境变量（在/home/hadoop/.bashrc 中追加, 每台机器都需要配置）
export JAVA_HOME=/usr/java/jdk1.6.0_23
export PATH=/usr/java/hadoopcluster1.1.2/hadoop-1.1.2/bin:$JAVA_HOME/bin:$PATH

在hadoop-1.1.2/conf/hadoop-evn.sh中追加
export JAVA_HOME=/usr/java/jdk1.6.0_23
export HADOOP_LOG_DIR=/tmp/log

重新登录使其生效： ssh localhost
查看配置结果：which hadoop

配置HADOOP运行参数

vi conf/masters

把localhost替换为：oraclerac1

vi conf/slaves

删除localhost，加入两行:
oraclerac1
oraclerac2

下述3个文件的配置远远不只这些，配置的属性非常多，我们这里的配置只是一个基础

vi conf/core-site.xml

1. <property>
2. <name>fs.default.name</name>
3. <value>hdfs://oraclerac1:9000</value>
4. </property>

标准的副本是3，在写入一个块时默认放置策略是：如果执行写操作的客户端是hadoop集群的一部分，第一个副本应放在客户端所在DataNode中，第二个副本随机放置在与第一个副本不同的机架上，第三个副本放在与第二个副本相同机架上的不同节点上

1. <property>
2. <name>dfs.name.dir</name>
3. <value>/home/hadoop/dfs/filesystem/name</value>
4. </property>
5. <property>
6. <name>dfs.data.dir</name>
7. <value>/home/hadoop/dfs/filesystem/data</value>
8. </property>
9. <property>
10. <name>dfs.replication</name>
11. <value>3</value>
12. </property>

vi conf/mapred-site.xml

1. <property>
2. <name>mapred.job.tracker</name>
3. <value>oraclerac1:9001</value>
4. </property>
5. <property>
6. <name>mapred.tasktracker.map.tasks.maximum</name>
7. <value>4</value>
8. </property>
9. <property>
10. <name>mapred.tasktracker.reduce.tasks.maximum</name>
11. <value>4</value>
12. </property>
13. <property>
14. <name>mapred.system.dir</name>
15. <value>/home/hadoop/mapreduce/system</value>
16. </property>
17. <property>
18. <name>mapred.local.dir</name>
19. <value>/home/hadoop/mapreduce/local</value>
20. </property>

复制HADOOP文件到其他节点

scp -r /usr/java/hadoopcluster1.1.2/hadoop1.1.2 hadoop@oraclerac2: /usr/java/hadoopcluster1.1.2/hadoop-1.1.2

格式格式化HDFS

hadoop namenode –format
每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空所有节点的dfs.data.dir参数配置的目录,如果还无法正常启动，删除掉所有节点的/tmp目录下内容，在针对各个进程日志进行排错

启动（因为配置了ssh ,只需要在oraclerac1机器上启动，看看启动了哪些机器的哪些进程，是否和当初自己所想一致）

start-all.sh

查看集群各机器进程是否正常启动，通过jdk的jps（如此处相关进程没有正确启动，需要查看hadoop集群中各个节点的相关进程日志进行排错至正常启动）

执行hadoop自带例子

创建一个文件yale.txt,存放在hadoop目录下，添加一些内容

执行：hadoop fs -put yale.txt input/yale.txt

查看：hadoop fs -cat input/yale.txt

执行：hadoop jar hadoop-examples -1.1.2.jar wordcount input output

执行完成后，我们可以通过hadoop fs –ls 查看生成了什么

具体查看：

hadoop fs –ls output

hadoop fs -cat output/p*