spark应用涉及的一些基本概念：1.mater:主要是控制、管理和监督整个spark集群2.client：客户端，将用应用程序提交，记录着要业务运行逻辑和master通讯。3.sparkContext：spark应用程序的入口，负责调度各个运算资源，协调各个work node上的Executor。主要是一些记录信息，记录谁运行的，运行的情况如何等。这也是为什么编程的时候必须要创建一个sparkC
转载
2023-08-08 11:29:09
809阅读
所谓表驱动法(Table-Driven Approach),简单讲是指用查表的方法获取值。表驱动是将一些通过较为复杂逻辑语句来得到数据信息的方式，通过查询表的方式来实现，将数据信息存放在表里。对于消除长的switch-case和if-else-if语句来说很有效，比如下面的代码：string GetDayName(int day)
{
string dayName;
if(day==1)
{
转载
2024-10-14 10:09:19
41阅读
一直都有粉丝留言，问各种奇怪的问题，今天就列举一个浪尖反复解答过的问题：编写的spark 代码到底是执行在driver端还是executor端？1.driver & executor浪尖这里只提本文关注的两个角色，driver和executor。首先，driver是用户提交应用程序的入口main函数执行的地方，driver主要作用就是进行job的调度，DAG构建及调度，然后调度t
转载
2024-05-28 22:26:01
62阅读
目录一、Spark 核心组件回顾1. Driver2. Executor二、Spark 通用运行流程概述 Spark 内核泛指 Spark 的核心运行机制，包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内存管理机制、Spark 核心功能的运行原理等，熟练掌握 Spark 内核原理，能够帮助我们更好地完成 Spark 代码设计，并能够帮助我们准确锁定项目运行过程中出现
转载
2023-09-03 20:32:38
92阅读
为什么我们需要Spark集群？Spark 高性能的关键在于其使用了并行计算。在传统的关系型数据库中，匹配大数据的扩展工作仅限于一台机器，计算性能有限。而Spark可以进行水平扩展，也就是可以近乎无限地添加新的机器或算力到一个集群中。集群里的机器可以像一个团队一样工作，并且产出数据分析师想要的结果。Spark集群里的两种角色集群中存在两种角色，分别是Driver和Worker。我们可以假设集群中的某
转载
2023-11-14 17:52:06
34阅读
通讯架构,任务调度机制,Shuffle解析,内存管理
目录1.Spark内核1.1核心组件1.2Spark通用运行流程概述1.3Standalone模式1.4YARN调度2.Spark通讯架构3. Spark任务调度机制3.1Spark任务调度概述3.2 Spark Stage级调度3.3Spark Task级调度3.3.1调度策略3.2 失败重试4.
转载
2024-05-16 12:39:27
44阅读
Spark核心组件 DriverSpark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：将用户程序转化为作业（job）；在Executor之间调度任务(task)；跟踪Executor的执行情况；通过UI展示查询运行情况； ExecutorSpark Executor节点是一个JVM进程，负责
转载
2023-07-11 10:27:30
110阅读
一、Spark内核1、内核概述Driver：将用户程序转换为job、在executor之间进行调度、跟踪executor的运行情况、通过UI展示运行情况Executor：运行spark任务并返回结果，通过自身BlockManager为RDD提供存储和，并且加快RDD的计算通用运行流程2、部署模式Standalone模式Driver：是一个进程，我们编写的Spark应用程序就运行在Driver上，由
转载
2023-11-27 00:15:01
145阅读
最近在学习spark，里面存在很多的概念，比较抽象。在这里说下个人对Spark中Driver和Executor的理解。Driver：Driver是Spark中Application也即代码的发布程序，可以理解为我们编写spark代码的主程序，因此只有一个，负责对spark中SparkContext对象进行创建，其中SparkContext对象负责创建Spark中的RDD（Spark中的基本数据结构
转载
2023-11-13 09:15:32
50阅读
文章目录Spark运行架构运行架构核心组件Driver & ExecutorMaster & WorkerApplicationMaster核心概念Executor与Core并行度（Parallelism）有向无环图（DAG）提交流程(※)Spark核心编程 Spark运行架构运行架构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。
转载
2023-08-26 08:23:46
138阅读
Spark 内核概述Spark 内核泛指 Spark 的核心运行机制，包括 Spark 核心组件的运行机制、Spark任务调度机制、Spark 内存管理机制、Spark 核心功能的运行原理等，熟练掌握 Spark内核原理，能够帮助我们更好地完成 Spark 代码设计，并能够帮助我们准确锁定项目运行过程中出现的问题的症结所在。1. Spark 核心组件Driver Spark 驱动器节点，用于执行
转载
2023-09-23 07:43:06
211阅读
Apache Spark使用最先进的DAG调度程序，查询优化器和物理执行引擎，实现批处理和流数据的高性能。这篇文章主要是对driver和executor功能上进行一个分析。驱动器节点(Driver)Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark sh
转载
2024-06-30 09:34:02
95阅读
### 使用Driver内存的Spark实现流程
在使用Apache Spark进行数据处理时，理解Driver和Executor的内存使用非常重要。Driver负责处理应用程序的逻辑，而Executor负责执行任务。下面我们将讨论如何正确管理Driver的内存使用。
#### 整体流程
在实现过程中，我们需要遵循以下步骤：
| 步骤 | 说明 |
|------|------|
| 1
原创
2024-09-11 07:04:31
33阅读
Spark运行架构1. 运行架构2. 核心组件2.1 Driver2.2 Executor2.3 Master & Worker2.4 ApplicationMaster3. 运行模式3.1 Yarn Client模式3.2 Yarn Cluster模式4. 提交流程 1. 运行架构Spark框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示
转载
2023-09-30 14:02:15
90阅读
spark的四种分布式运行模式如图所示，上方为spark的架构图，spark的组件可以分为四个部分，driver、cluster Manager、worker和executor根据clusterManager的不同，spark可以分成四种不同的运行模式，standalone、local cluster、spark on yarn 和spark on mesosstandalone模式：standa
转载
2024-06-28 06:38:33
30阅读
# 理解 Spark 中 driver_memory 的作用
在大数据处理领域，Apache Spark 是一个流行的选择。在使用 Spark 进行分布式计算时，了解其核心组件的配置，尤其是`driver_memory`的作用至关重要。本文将详细介绍如何配置 Spark 的 `driver_memory` 以及它的重要性。
## Spark 处理流程
首先，我们需要了解 Spark 应用程序
本文目录如下：第7章 Spark核心组件7.1 运行架构7.2 核心组件7.2.1 Driver7.2.2 Executor7.2.3 Master & Worker7.2.4 ApplicationMaster7.3 核心概念7.3.1 Executor 与 Core7.3.2 有向无环图7.4 提交流程7.4.1 Yarn Client 模式7.4.2 `Yarn Cluster 模
转载
2023-09-26 19:28:00
122阅读
19-spark-核心概念及介绍：Spark运行架构运行架构Spark 框架的核心是一个计算引擎，是标准 master-slave 的结构。 如下所示，展示一个 Spark 执行时的基本结构。 Driver 表示 master，负责管理整个集群中的作业任务调度。 Executor 则是 slave，负责实际执行任务。核心组件 Driver，ExecutorDriverSpark 驱动器节点，用于执
转载
2023-07-11 22:26:06
192阅读
看了看spark-standalone的资源分配过程，还是记录一下吧，久了回顾一下。 Standalone模式下存在的角色。 Client：客户端进程，负责提交作业到Master。 Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。 Worker：Standalone模式中slave节点上的
转载
2024-02-27 20:23:22
26阅读
一、Spark运行原理Spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动（参见 client和cluster的区别）。Driver进程最开始会向集群管理器（可以是Spark Standalone集群，也可以是其他的资源管理集群，比如YARN资源管
转载
2023-12-14 18:57:44
96阅读
