spark采用的是主从式的架构，主节点叫master，从节点是workerDriver我们编写的spark就在Driver上，由driver进程执行。
Driver是spark集群的节点之一，或你提交spark程序的机器Mastermaster是集群的资源管理者和调度者，类似yarn里面的ResourceManger，还负责监控整个集群的监控状况Worker用自己的内存缓存RDD数据
使用内存对p
转载
2023-07-19 14:06:39
45阅读
文章目录一、基本介绍spark是什么？弹性分布式数据集RDD基本概念基本流程二、Hadoop和Spark的区别三、RDD操作TransformationAction四、Block与RDD生成过程五、依赖关系与Stage划分六、Spark流程调度流程（粗粒度图解）执行流程（细粒度图解）七、spark在yarn上的两种运行模式(yarn-client和yarn-cluster)1、Yarn-Clie
转载
2024-02-06 19:20:51
15阅读
前言本文总结了Spark架构原理,其中主要包括五个组件：Driver、Master、Worker、Executor和Task，简要概括了每个组件是干啥的，并总结提交spark程序之后，这五个组件运行的详细步骤。1、流程图为了直观，就把流程图放在最前面了2、Driverdriver是一个进程，我们编写的spark程序运行在driver上，由dirver进程执行，driver是作业的主进程，具有mai
原创
2023-05-23 20:19:52
126阅读
相比MapReduce僵化的Map与Reduce分阶段计算相比，Spark的计算框架更加富有弹性和灵活性，运行性能更佳。1 Spark的计算阶段MapReduce一个应用一次只运行一个map和一个reduceSpark可根据应用的复杂度，分割成更多的计算阶段（stage），组成一个有向无环图DAG，Spark任务调度器可根据DAG的依赖关系执行计算阶段逻辑回归机器学习性能Spark比MapRedu
原创
2022-04-19 20:57:36
1973阅读
Spark工作原理入门 文章目录Spark工作原理入门1.功能概要基本描述运用场景实际使用2.模块组成HDFSMLlibMesosTachyonGraphXSpark SQLSpark Streaming3.Spark核心对象RDD的处理什么是RDD？RDD的属性RDD的处理流程RDD的运算4.核心逻辑架构Spark的任务提交流程名词解释DriverSparkContextRDDDAG Sched
转载
2023-09-05 09:39:35
88阅读
导语 | Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介绍 Spark 的核心技术原理，希望与大家一同交流。文章作者：熊峰，腾讯大数据研发工程师。一、Spark 介绍及生态Spark是UC Berkeley AMP Lab开源的通用分布式并行计算框架，目前已成
转载
2023-09-22 21:33:17
73阅读
1 介绍大数据4V 特征1V 大量化，体现为数据量大 2V 多样化，主要是结构化和非结构化的数据 3V 处理速度快 数据采集和数据处理速度效率快 4V 价值密度低 主要是有效数据和无用数据的占比大数据技术的两个核心技术分布式存储 hdfs 分布式计算 sparkYarn实现了一个集群多个框架Spark框架跟hadoop框架对比，hadoop存在两个明显缺点，一个是磁盘IO（磁盘读写）开销大，一个延
转载
2023-08-15 21:34:36
134阅读
Spark资源管理架构Spark 的资源管理架构：Spark 集群考虑到了未来对接一些更强大的资源管理系统（如 Yarn、Mesos 等），没有在资源管理的设计上对外封闭，所以Spark 架构设计时将资源管理抽象出了一层，通过这种抽象能够构建一种插件式的资源管理模块。 上图所示，Master 是 Spark 的 主控节点，在实际的生产环境中会有多个 Master，只有一个 Master 处于 ac
转载
2023-08-15 15:15:36
225阅读
在学习完Spark架构原理-Master源码分析和Spark架构原理-Worker源码分析，我们来结合源码学习一下Spark启动消息通信的整个过程。Spark启动过程中主要是进行Master和Worker之间的通信，其消息发送关系如下图所示。首先由Worker节点向Master发送注册消息，然后Master处理完毕后，返回注册成功消息或失败消息，如果成功注册，则Worker定时发送心跳消息给Mas
转载
2023-08-28 18:00:22
67阅读
一、Spark集群基础概念 将DAG划分为多个stage阶段，遵循以下原则： 1、将尽可能多的窄依赖关系的RDD划为同一个stage阶段。2、当遇到shuffle操作，就意味着上一个stage阶段结束，下一个stage阶段开始 关于RDD中的分区，在默认情况下（也就是未指明分
转载
2023-06-19 10:35:01
63阅读
hive on Spark一. 配置1. hive 回顾1.1 hive简介1.2 yum 设置 & 命令（Centos7）1.3 hive 安装1.5 注意问题1.6 hive测试1.7 spark配置1.8 读取hive数据二. hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式 (远程模式)三. spark sql 远程连接（thriftserver --
转载
2023-12-04 17:46:04
125阅读
Spark架构的组成图如下：Cluster Manager：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。Driver： 运行Application 的main()函数 Executor：执
转载
2023-07-19 14:22:47
85阅读
1、 Spark运行架构1.1 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，
包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；
lDriver：Spark中的Driver即运行上述Application的main(
转载
2023-08-30 17:50:28
247阅读
1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。因此，Spark所提供的生态系统同时支持批处理、交互式查询和流数据处理。&
转载
2023-07-18 22:25:17
160阅读
本篇文章主要介绍：Spark的基本概念Spark的内核架构，详细介绍从Saprk程序编写完成使用Spark submit(shell)的方式提交到完成任务的流程Spark在不同集群中的运行架构1. Spark的内核架构Spark任务详解：将编写的Spark程序打成 jar 包调用 spark-submit 脚本提交任务到集群上运行运行sparkSubmit的main方法，在这个方法中通过反射的方式
转载
2023-09-21 07:43:57
97阅读
文章目录大数据体系概览（Spark的地位）什么是Spark？Spark的介绍Spark整体架构Spark的特点Spark SQL VS HiveSpark Streaming VS Storm大数据体系概览（Spark的地位）什么是Spark？Spark的介绍Spark整体架构Spark的特点Spark SQL VS HiveSpark Streaming VS St...
原创
2021-06-01 12:13:53
1760阅读
Spark 概述Apache Spark是一个快如闪电的统一的分析引擎（仅仅是一款分析引擎，不提供存储服务）。快：相比较于上一代离线框架MapReduce（磁盘）而言Spark基于内存计算较快。统一：Spark提供统一API访问接口实现批处理、流处理、SQL、Machine Learinng、图形关系分析等。Spark快的原因使用先进的DAG（有向无环图）设计。MapReduce：矢量计算起点（M
转载
2023-09-26 19:01:52
47阅读
1. RDD有哪些特性？2. 如何理解Application、Job、Stage、TaskSet以及Task？3. Spark如何实现可插拔式的资源管理模块？4. Spark如何实现RPC通信模块？5. 启动Standalone集群的流程是怎样的？6. Spark集群
转载
2023-08-11 11:07:54
92阅读
Spark on YARN工作原理 MapReduce on YARN的工作流程：加载数据，执行map，shuffle，reduce，将结果写入持久化存储。Spark on YARN的工作流程：spark中一个job包含多个stage，而非只有map和reduce，application包含多个job。 Spark工作原理用户通过spark-sumbi
转载
2023-10-07 19:11:32
153阅读
1 Spark SQL背景 Spark SQL是从Shark发展而来的。Shark为了实现Hive兼容，在HQL方面重用了Hive中的HQL的析、逻辑执行计划翻译和执行计划优化等逻辑可以近似认为仅将物理执行计划从MR作业替换成了Spark作业（辅以内存列式存储等各种和Hive关系不大的优化）；同时依赖Hive MetaStore
转载
2023-10-20 17:41:57
104阅读
