map->shuffle->reducemap->combine->partition->sort-> group->reducejob.setInputFormatClass，默认TextInputFormat，将数
原创
2023-07-11 00:10:57
41阅读
Hadoop生产环境搭建
1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。
2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。）
包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml
3. 格式化并启动HDFS
4. 启动YA
转载
2023-08-10 09:32:31
38阅读
# 深入理解Hadoop Shuffle过程
Hadoop作为一个强大的大数据处理框架，其数据处理过程中的Shuffle阶段是一个关键环节。Shuffle不仅是数据在Reduce阶段的重新分发，也是大规模数据处理的性能保障。在这篇文章中，我们将深入探讨Hadoop Shuffle过程，解释其原理，并提供简单的代码示例。
## 什么是Shuffle？
Shuffle过程分为“Map”和“Red
原创
2024-09-07 06:14:06
40阅读
Hadoop HA 部署所需的压缩包百度网盘自取： 实操使需的压缩包: 链接 提取码：q9r6环境准备： 三台虚拟机，版本最好为centos7.4编号主机名类型用户密码ip1master1主节点rootpasswd192.168.160.1102slave1从节点rootpasswd1292168.160.1113slave2从节点rootpasswd129.168.160.112一、解压 JDK
转载
2024-09-27 14:51:30
79阅读
到目前为止，我们针对wordcount例子，介绍了一个Job从创建，到设置参数，到执行的整个过程。但是hadoop的执行Job的时，内部又是怎么样一个流程呢？1. Inputformat会从job的INPUT_DIR目录下读入待处理的文件，检查输入的有效性并将文件切分成InputSplit列表。Job实例可以通过setInputFormatClass(Class<? extends Inp
1 处理过程图： MapReduce确保每个reducer的输入都按键排序。系统执行排序的
原创
2023-04-21 06:23:08
97阅读
# Hadoop执行过程
## 简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它的执行过程包括数据的切分、地图处理、汇总和排序、以及最终的输出。
在本文中，我将向你展示Hadoop执行过程的步骤，并提供相应的代码示例和解释。让我们开始吧！
## Hadoop执行过程流程图
```mermaid
flowchart TD
A[输入数据] --> B[Hadoop
原创
2023-09-07 16:50:37
56阅读
上图是一个简版的流程图，图画的不标准，但能说明问题就OK，下面是根据上图描述的写数据流程，如有不对的地方请指教。注：以下简化名称所对应的全称： NN == NameNode； IO == hdfsFileoutputStream； DN == DataNode； DN1 == DataNode1； DN2 == DataNode2； DN3 == DataNode3；详细流程 1、当需要向HDF
转载
2023-07-12 12:36:25
77阅读
一、HDFS 数据读写流程HDFS 是 Hadoop 生态里面的数据存储层，它是一个具有容错性的非常可靠的分布式文件系统。HDFS 以主从（ Master / Slave ）架构的方式工作，Namenode 是 Master 节点上的守护进程，而 Datanode 是 Slave 节点上的守护进程。本节将详细介绍 HDFS 数据读写操作工作原理。1、Hadoop HDFS 数据写操作要把文件写入到
转载
2023-08-15 10:19:49
186阅读
之前看了YARN权威指南后总结了YARN作业提交流程（），但还是不够清晰详细，所以转载这篇文章以便日后学习用。MR作业提交过程提交过程按这个图来，1.Job的submit()方法创建一个内 部的JobSummiter 实例，调用该实例submitJobInternal()方法。提交作业后，waitForCompletion()每秒轮询作业的进度，如果发现自上次报告后有改变，便把进度报告到控制台。作
转载
2023-07-21 14:39:43
35阅读
hadoop 和hive配合使用，可以极大的提高大数据的运算效率，公司在线上的服务器每天都会产生大量的log，技术人员需要对这些log进行分析，取得用户的telemetry等数据，使用传统的脚本来分析，需要耗费大量的时间，因此搭建了一个hadoop集群(10台机器)，并且使用hive配合，再辅助几个crontab脚本，这样每天上班之后，技术就可以拿到前一天的应用数据了，整个过程不需要人工干预，下面
原创
2013-05-30 16:56:52
940阅读
1.在Mapper类中,文件的每一行都会调用重写的方法, 但是方法外面的只会执行一次, 所以可以把获取配置对象和泛型对象写在重写方法的外面, 节约内存
2.在Reducer类中,从Mapper类来的每一个K-V都会调用重写的方法, 但是方法外面的只会执行一次.
PS: 不是每次都执行一次Mapper类和Reducer类 举例说明 :(例子中的注释会说的很明白!)求学生的平均成
转载
2024-09-07 16:31:02
16阅读
Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函数：M
原创
精选
2024-03-22 09:39:41
159阅读
在安装时，选择每个安装包时MS可以指定default,install,reinstal,unstall等些个属性，于是再运行安装时的setup.exe，按照下面的步骤操作即实现Cygwin的卸载： 1）这一步请选择：Install form Local Directory，其它两项也可以，只是选择这一项的的话，是最快的。 2）选择原来Cygwin安装的目录。3）这里切换到uninstall，因为了
转载
精选
2013-10-08 14:44:11
851阅读
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz hadoop的下载文件安装jdkhttp://www.linuxidc.com/Linux/2014-08/105906.htm 安装hadoop进入/root/zby/hadoop/hadoop-1.2.1/
原创
2016-07-05 14:22:54
1871阅读
hadoop单机配置(非分布式) hadoop伪分布式布置 修改配置文件 core-site.xml 修改配置文件 hdfs-site.xml cd /usr/local/hadoop ./bin/hdfs namenode -format su ubuntu(hadoop的启动用户) cd /us ...
转载
2021-10-09 18:33:00
155阅读
2评论
# Hadoop图解MR过程
## 概述
在大数据领域，Hadoop是一个非常重要的分布式计算框架。而MapReduce（简称MR）是Hadoop的核心编程模型，用于处理大规模数据集。本文将以图解的方式介绍Hadoop MapReduce的整个过程，并给出每一步的代码示例和注释。
## MR过程流程
下表展示了Hadoop MapReduce的整个过程。它包括两个主要阶段：Map和Redu
原创
2024-02-03 11:43:33
117阅读
# Hadoop put 文件过程
## 概述
在Hadoop中，我们可以通过使用Hadoop的命令行工具或者编程API来实现文件的上传。本文将详细介绍如何使用Hadoop的`put`命令将文件上传到Hadoop分布式文件系统（HDFS）中。
## 文件上传流程
为了清晰地说明文件上传的流程，我们可以通过下面的表格来展示整个过程：
| 步骤 | 描述 |
| ---- | ---- |
|
原创
2023-09-17 06:00:53
191阅读
Hadoop MapReduce 是一个分布式数据处理框架，它将数据划分为多个块，并在集群中的多个节点上并行处理这些数据。下面是 Hadoop MapReduce 过程的详细说明和代码案例：数据输入：首先，Hadoop MapReduce 需要输入数据。这些数据通常被划分为多个块，每个块大小为 64MB 到 128MB。这些数据块被存储在 Hadoop 分布式文件系统（HDFS）中。Mapper
原创
2024-02-12 18:57:10
57阅读
# 深入理解 Hadoop Shuffle 过程
Hadoop 是一个开源的分布式计算框架，可用于大规模数据处理。在 Hadoop 的工作流中，Shuffle 过程是一个至关重要的环节，影响着 MapReduce 的性能和效率。本文将详细介绍 Hadoop Shuffle 的过程，并提供代码示例，帮助大家理解这个复杂而关键的机制。
## 什么是 Shuffle？
在 Hadoop 的 Map
