1.相关的资源参数mapreduce.map.memory.mb：一个maptask可以使用的资源上限，默认是1G，如果超过设置的值，会被强制杀死mapreduce.reduce.memory.mb：一个ReduceTask可使用的资源上限默认是1G，如果超过设置的值，会被强制杀死mapreduce.map.cpu.vcores：每个maptask最多的CPUcore默认是1个mapreduce.
1.YARN的基础理论1）关于YARN的介绍： YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。2）hadoop1.x中YARN的不足： -JobTracker是集群的事务的集中处理，存在单点故障 -JobTracker
MapReducer工作流程图：1.MapReduce阶段源码分析1）客户端提交源码分析解释： -判断是否打印日志 -判断是否使用新的API，检查连接 -在检查连接时，检查输入输出路径，计算切片，将jar、配置文件复制到HDFS -计算切片时，计算最小切片数（默认为1，可自定义）和最大切片数（默认是long的最
1.自定义InputFormat–数据分类输出 需求：小文件的合并 分析： -在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS -在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并 -在MapReduce处理时，可采用CombineFileIn
1.MapReduce多Job串联 介绍：一个稍复杂点的处理逻辑往往需要多个MapReduce程序串联处理，多job的串联可以借助MapReduce框架的JobControl实现。需求：以下有两个MapReduce任务，分别是Flow的SumMR和SortMR，其中有依赖关系：SumMR的输出是SortMR的输入，所以SortMR的启动得在SumMR完成之后这两个程序在：ht
接下来通过一个实际的案例，介绍在MR编程中的，partition、sort、combiner。 流量统计项目案例数据样本：1363157984040136028465655C-0E-8B-8B-B6-00:CMCC120.197.40.42052.flash2-http.qq.com综合门户151219382910200字段介绍：需求：1、统计每一个用户（手机号）所耗费的总上行流量、总下行流量，
1.MapReduce的介绍： MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapReduce大体上分三个部分： -MRAppMaster：MapReduceApplicationMaster，分配任务，协调任务
四大机制：（1）心跳机制： 介绍：hdfs是主从架构，所有为了实时的得知dataNode是否存活，必须建立心跳机制，在整个hdfs运行过程中，dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。 心跳内容： -报告自己的存活状态，每次汇报之后都会更新维护的计数信息 &emsp
1.HDFS的shell操作hadoopversion//查看版本hadoopfs-appendToFilesrc(Linux中的文件)dest(hdfs目录下的文件)//追加hadoopfs-catfile(hdfs目录下的文件)//查看文件内容Hadoopfs-tailfile(hdfs目录下的文件)//查看文件末尾1kb的数据hadoopfs-checksumfile(hdfs目录下的文件)
1.HDFS的设计思路？ hdfs是分布式的文件系统，用来在廉价的集群上做大数据量的存储。1.大文件被切割成小文件，使用分而治之的思想让很多服务器对同一个文件进行联合管理2.每个小文件做冗余备份，并且分散存到不同的服务器，做到高可靠不丢失2.HDFS的架构？namenode：集群老大，掌管文件系统目录树，处理客户端读且请求SecondaryNamenode：持久化元数据，主要
1.为什么要搭建HA？ 在hadoop2.x之前，在HDFS集群中NameNode存在单点故障(SPOF：ASinglePointofFailure)。对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，必须等到NameNode重新启动，之后才能对外提供服务，这个方式在生成环境中是绝对不允许出现的。&em
重点组件：HDFS：Hadoop的分布式文件存储系统MapReduce：Hadoop的分布式程序运算框架，也可以叫做一种编程模型Hive：基于Hadoop的类SQL数据仓库工具HBase：基于Hadoop的列式分布式NoSQL数据库ZooKeeper：分布式协调服务组件Mahout：基于MapReduce/Flink/Spark等分布式运算框架的机器学习算法库Oozie/Azkaban：工作流调度
hadoop集群搭建前的准备（一定要读）：http://blog.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录：[hadoop@hadoop01home]$putc:/hadoop-2.6.5-centos-6.7.tar.gz[hadoop@hadoop01home]$tar-zxvfhadoop-
1.修改主机名：[root@localhosthome]#sudovi/etc/sysconfig/network修改主机名：2.设置系统默认启动级别：[root@localhosthome]#vi/etc/inittab改默认启动级别，3是多用户模式，并且不启动图形界面3.配置hadoop用户sudoer权限：这里使用普通用户hadoop，对Linux进行操作：创建hadoop用户：[root@
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
