名称 发起者 语言 简介 特点 适用场景 Hadoop Yahoo工程师，Apache基金会 Java MapReduce分布式计算框架+HDFS分布式文件系统（GFS）+HBase数据存储系统(BigTable) 数据分布式存储在磁盘各个节点，计算时各个节点读取存储在自己节点的数据进行处理 高可靠（Hadoop按位存储） 高扩展（在可用的计算机集群间分配数据并完成计算任务，可以方便的扩展到数千
转载
2023-10-05 16:08:14
69阅读
（一）MapReduce介绍1、MapReduce简介 MapReduce是Hadoop生态系统的一个重要组成部分，与分布式文件系统HDFS、分布式数据库HBase一起合称为传统Hadoop的三驾马车，一起构成了一个面向海量数据的分布式系统的基础架构。 MapReduce是一个用于大规模数据（大于1TB）处理的分布式计算模型、编程模型，它最初是由Google设计并实现的，在Google提出时，
转载
2023-10-24 14:18:52
82阅读
看完hadoop权威指南第一，二章，初步了解了hadoop的结构和相关生态，主要详细从第二章mapreduce学习开始，现总结备查。 什么是mapreduce? 读完后，就问自己什么是mapreduce，想自己理解归纳下。mapreduce是一种分布式的并行计算编程模型。主要把计算分map和reduce两个阶段。 map阶段是把原始输入数据分为多块输入到多个map函数中进行并行的逻辑处理
转载
2023-10-18 22:31:03
41阅读
&nbs
转载
2023-10-03 07:05:00
38阅读
代码下载于 github，使用分支是 origin/branch-2.4DAGScheduler 是实现了 面向 stage 的调度的高层次的调度层，它可以为每个 job 计算出一个 DAG，追踪 RDD和 stage 的输出是否被持久化，并且寻找到一个最优调度机制来运行 job，它会将 stage 作为 taskset 提交到底层的 TaskScheduler 来发送到集群上运行这些 task。
转载
2023-11-25 12:24:35
63阅读
hadoop+spark集群搭建 文章目录hadoop+spark集群搭建1、版本介绍2、安装java3、Hadoop配置3.1、解压文件3.2、配置环境变量4.Hadoop伪分布4.1 配置IP映射：4.2 免密登录：4.3 修改Hadoop配置文件：4.3.1 core-site.xml4.3.2 hdfs-site.xml4.3.3 mapred-site.xml4.3.4 yarn-sit
转载
2023-10-24 14:26:03
83阅读
一、Spark概述Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms， Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今
转载
2023-08-17 09:58:02
112阅读
hadoop+hbase+spark搭建hadoop安装： 前期准备： 1.host配置和主机名 2.安装jdk 3.免密ssh登录Hadoop搭建参考 1.在master上解压安装包#下载
wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
#解压
tar -xzvf hadoop-2.7
转载
2023-10-02 20:56:46
76阅读
很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱，下面我来简单为大家做一下区分，方便理解。学习大数据首先要明白生态系统 蓝色部分为Hadoop生态组件，橙黄色部分为Spark生态组件，紫色部分为Storm应用一、 工作机制MapReduce框架MapReduce是一个编程模型，封装了并行计算、容错、数据分布、负载均衡等细
转载
2024-02-17 13:30:48
77阅读
在前两节分别介绍了hadoop的安装以及HDFS的shell操作，本文紧接着前两文进行介绍本文主要对HDFS体系结构进行了基本的介绍。所有涉及到的源码都是hadoop-1.1.2的源码。我们知道在Hadoop安装部署完成之后会有5个进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker。那么这5个进程分别是干什么的呢？本文将
转载
2023-09-06 22:53:03
33阅读
MapReduce详解MapReduce介绍MapReduce的基本编程模型MapReduce的计算过程1. Map阶段可以概括为5个步骤：2. Reduce节点也可以分为5个步骤：设置ReduceTask并行度（个数）关于分片（Split）关于ShuffleMap端的shuffleReduce端的ShuffleShuffle流程详解补充问题：MapReduce分区相关问题理解1.Partiti
转载
2023-08-18 19:31:24
29阅读
Hadoop技术梗概（一）概要Hadoop的核心主要包括几个子项目。Hadoop common、Hadoop HDFS、以及Hadoop MapReduce。这三个部分是Hadoop最重要的三个部分。Hadoop common是Hadoop的核心，是曾经Hadoop项目的Core部分。很多其他版块都依赖于Hadoop common。Hadoop common主要负责Hadoop的配置以及Hadoo
转载
2023-12-11 22:43:29
53阅读
# Spark的情性加载指的是什么？
在大数据处理和分析的领域，Apache Spark是一种广泛使用的分布式计算框架。情性加载（Lazy Loading）是Spark中一个重要的优化特性。为了帮助刚入行的小白理解Spark的情性加载，我将详细解释这个概念以及实现步骤，并附上代码示例和流程图。
## 一、什么是情性加载？
在Spark中，情性加载指的是Spark在执行操作时，并不会立即执行计
1.概念HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。HDFS是一个主/从（Mater/Slave）体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD（Create、Read、Updat
转载
2023-09-04 15:08:32
216阅读
一、MapReduce简介MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。MapReduce计算模型主要由三个阶段构成：Map、Shuffle(不需要我们操作，框架已实现)、Reduce。Map是映射，负责数据的过滤分类，将原始数据
转载
2023-07-12 11:37:58
152阅读
MapReduce 计算框架MapReduce是一种分布式计算框架，非常适合于解决并行计算问题，比如TopN、贝叶斯分类等。这是一种两阶段的计算模型，主要分为Map和Reduce两个步骤。Map即数据的映射，用于把一组键值对映射成另一组新的键值对，而Reduce以Map阶段的输出结果作为输入，对数据做化简、合并等操作。在具体的JVM实现上，MapReduce模型对方法进行了高阶抽象。Map阶段由对
转载
2023-08-30 15:40:19
77阅读
一、大白话MapReduce 1.什么是Map/Reduce，看下面的各种解释：
(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
(2)Mapreduce是一种编程模型，是
转载
2023-07-12 13:35:58
113阅读
MapReduce理论概述前言MapReduce核心思想Mapreduce体系结构 大家好，我是风云，欢迎大家关注我的博客 或者 微信公众号【笑看风云路】，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！前言只有理解了MapReduce的核心思想以及体系结构，我们才能更好的进行MR编程！MapReduce核心思想核心思想：分而治之。 一个存储在分布式文件系统HDFS中
转载
2024-08-02 12:57:06
44阅读
Storm与Hadoop的角色和组件比较Hadoop 上运行的是 MapReduce 作业，而在 Storm 上运行的是拓扑 Topology，这两者之间是非常不同的。一个关键的区别是：一个MapReduce 作业最终会结束，而一个 Topology 拓扑会永远运行（除非手动杀掉）。表 1-1 列出了 Hadoop 与 Storm 的不同之处。 那么 Storm 则
转载
2024-04-10 20:26:58
24阅读
这里写目录标题Hadoop是什么Hadoop发展历史Hadoop优势（4高）Hadoop 组成HDFS 架构概述YARN 架构概述MapReduce 架构概述大数据技术生态体系 Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈
转载
2023-07-30 21:05:20
53阅读
