最近一直太忙，都没时间写博客了。首先是平时需要带我的一个哥们，他底子比我稍弱，于是我便从mybatis、spring、springMVC、html、css、js、jquery一个一个的教他，在教的过程中笔者也发现了很多之前自己没有弄明白的问题，所以说想把一样东西学好并不容易。另外笔者也参与了公司的大数据项目，学会怎么写一个MR，以及hdfs、hbase、hive、impala、zookeeper的
MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数，并可使用方法
转载
2024-06-14 22:09:44
18阅读
基于org.apache.hadoop.mapreduce包新版API一、Map1、Map个数的确定map的个数等于split的个数。我们知道，mapreduce在处理大文件的时候，会根据一定的规则，把大文件划分成多个，这样能够提高map的并行度。 划分出来的就是InputSplit，每个map处理一个InputSplit.因此，有多少个InputSplit，就有多少个map数。2、谁负责划分sp
转载
2023-11-07 04:12:01
34阅读
如何实现Hadoop MapReduce输出的文件个数
## 引言
Hadoop是一个开源的分布式计算框架，可以处理大规模数据集。MapReduce是Hadoop中用于处理数据的编程模型。在MapReduce任务中，我们经常需要知道输出的文件个数，本文将介绍如何实现Hadoop MapReduce输出的文件个数。
## 流程图
```mermaid
flowchart TD
A(开始)
B(编
原创
2023-12-23 07:24:53
39阅读
1、参数变更1.x 参数名 2.x 参数名 mapred.tasktracker.reduce.tasks.maximum mapreduce.tasktracker.reduce.tasks.maximummapred.reduce.tasks mapreduce.job.reduces 2、参数
转载
2018-02-03 20:02:00
221阅读
2评论
在hadoop中当一个任务没有设置的时候，该任务的执行的map的个数是由任务本身的数据量决定的，具体计算方法会在下文说明；而reduce的个数hadoop是默认设置为1的。为何设置为1那，因为一个任务的输出的文件个数是由reduce的个数来决定的。一般一个任务的结果默认是输出到一个文件中，所以reduce的数目设置为1。那如果我们为了提高任务的执行速度如何对map与reduce的个数来进行调整那。
原创
2016-04-03 14:07:33
2439阅读
之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次 Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？还是用代码说话：package com.test;
import java.util.ArrayList;
import java.util.Iterator;
新建maven项目
+Create New Project… ->Maven -> Next填写好GroupId和ArtifactId 点击Next -> Finish编写wordcount项目
建立项目结构目录：右键java -> New -> package 输入package路径（本例是com.hadoop.wdcount）建立package。类似的
转载
2024-01-12 07:37:02
58阅读
1 MR的原理MapeReduce（简称MR）的是大数据计算引擎，相对于Linux awk等工具而已，最大的优势是可以分布式执行，充分利用计算机的多核性能。 一个MR作业（job）是客户端需要执行的一个工作单元，包括输入数据、MR程序和配置信息。作业又可以分成若干个任务（task）来执行，包括map任务和reduce任务。原始数据被MR按照HDFS的快大小（默认128M）分片（split），每一个
转载
2024-01-08 18:12:35
164阅读
hadoop 基础：hadoop的核心是应该算是map/reduce和hdfs，相当于我们要处理一个大数据的任务（并且前提是我们只采用普通的PC服务器），那么完成这个任务我们至少做两件事情，一件是有一个环境能够存储这个大数据（即hdfs），另外一件就是有一个并发的环境处理这些大数据（即map/reduce）。• map/reduce计算模型：map/reduce理解为一个分布式计算框架，它由Job
转载
2023-09-22 13:26:27
49阅读
一、MapReduce简介之前我们我们讲解了Hadoop的分布式文件储存系统HDFS，曾把它比作一个工厂的仓库。而今天我们要介绍的MapReduce（简称MR）分布式计算框架，就可以把他看作一个工厂的流水线。1、MR的编程思想MR的核心的思想就是分而治之，通俗的来说，就是将复杂的事情分割成很多小的事情，一一去完成，最终合并结果。那么我们可以明白MR的过程实际就是输入，分，处理，合并，输出。MR的过
转载
2024-01-02 10:22:43
148阅读
顺序组合式MapReduce任务、具有依赖关系的组合式MapReduce任务以及专门用于Map和Reduce主过程前处理和后处理的链式MapReduce任务。其中顺序组合式MapReduce任务可以经过变形成为迭代式的MapReduce任务。（1）顺序组合式MapReduce前一个MR的输出作为后一个MR的输入，自动的完成顺序化的执行。顺序组合式MR中的每一个子任务都需要专门的设置独立的配置代码，
转载
2023-11-01 16:19:07
111阅读
1.思考 MR的缺点？不擅长实时计算 hadoop 的 文件是存储磁盘的 hdfs 内，传输相比内传会慢很多，相比较 Storm 和 Spark 的流处理，流处理不需要批处理的数据收集时间，也省去； 作业调度的时延。不擅长流式计算 流式计算的输入数据是动态的，但是MR 的输入数据集时静态的，不能动态变化。不擅长有向图的计算 多个应用存在依赖关系，后一个程序的输入是前一个的输出。MR 不能进行这样的
转载
2023-07-13 18:08:33
132阅读
目录shuffle为什么要有shuffleshuffle分类Shuffle WriteShuffle Readshuffle可能会面临的问题HashShuffle优化解决问题reduce分区数决定因素SortShuffle shuffle为什么要有shuffleshuffle：为了让相同的key进入同一个reduce 每一个key对应的value不一定都在同一个分区中，也未必都在同一个节点上，而
转载
2023-09-07 17:00:25
219阅读
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交
转载
2023-09-01 08:20:07
87阅读
写在前面：1个hadoop集群 可以提供的map和reduce资源（可称为“插槽”）个数是 固定的。因此如果某个大job消耗完所有的插槽，会导致 其他job无法执行。故，有必要设置 hive.exec.reducers.max来组织某个查询消耗太多的资源。1）计算reducer个数。 hive时按照 输入的数据量大小 来确定reducer个数的。 举例：情况1:当输入表的大小可以确定时。 hive
转载
2023-07-12 21:30:29
97阅读
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m
转载
2023-09-20 07:14:30
29阅读
MR是HADOOP的核心计算框架。是一个可容错的并行处理集群。1. 核心思想MR的核心思想是分而治之（本来是基于整体数据的运算，结果将数据数据分割成很多个小的数据集。然后并行计算这些小数据集，最后将每个小数据集的计算结果进行汇总。得到最终的计算结果）。 整个过程分为Map阶段和Reduce阶段。第一阶段完全并行，互不相干。第二阶段的reduceTask的并发实例也互不相干。但是
转载
2023-07-11 22:47:38
115阅读
笔者将以第一人称视角向各位阐述MR，从两个大方向描述MR旨在将自己所学所会融进这套知识体系。 1. 站在系统设计的角度讲讲MR在hadoop生态系统中上下游扮演的角色起到了什么作用及为什么需要MR 2.技术性细节，MR的整个工作流程 如有不到之处烦请指正一 宏观剖析1 MR是什么？MapReduce是一种计算模型，用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作，生成键-值对形
转载
2024-01-30 19:02:30
139阅读
1基本概念1.1什么是Spark Spark是一种计算框架，是与mapreduce不一样的计算框架。他与Hadoopmapreduce相比具有以下优势：1） Spark通过将中间结果缓存在内存，而不是磁盘，因此很适合于多阶段的作业，如需多次迭代的机器学习。而mapreduce则将中间结果每次都
转载
2023-12-13 20:55:08
39阅读
