Spark的基本概念：（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并
转载
2023-08-08 13:13:52
126阅读
Spark 执行流程 解析1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中 我们提交程序后 会创建一个Driver 进程2、Driver 构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler3、TaskSched
转载
2024-02-08 07:14:09
47阅读
1 执行第一个Spark程序该算法是利用蒙特·卡罗算法求PI/home/hadoop/software/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://harvey:7077 \
--executor-memory 1G \
--total-executor-cores 2
转载
2023-09-04 11:12:50
72阅读
1、懒执行数据从源头到处理，并不是每一步操作都会立刻执行。在spark操作方法中，分为Transformation与Action两类操作。 transformation：一个方法由RDD调用，执行后产生另一个RDD。 Action：一个方法由RDD调用，执行后不是产生另一个RDD，而是产生一个非RDD的结果，例如collect，count。Tra
转载
2023-08-06 11:54:26
73阅读
Spark运行过程Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。Spark大致运行流程：1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等）2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executo
转载
2023-08-28 22:42:51
43阅读
spark on yarn 资源调度流程cluster模式为例:客户端向ResourceManager发送请求,ResourceManager返回applicationID和要上传的hdfs目录客户端将jar包和配置文件上传到hdfs指定目录客户端向ResourceManager申请资源来启动ApplicationMasterRM找一台资源充足的NM,进行通信,NM通过rpc的方式从hdfs上下载
转载
2023-09-23 21:00:44
28阅读
第36课 spark的job执行过程详解
原创
2016-09-01 20:57:43
53阅读
## 查看 Spark 执行过程的步骤
整体流程如下图所示：
```mermaid
flowchart TD
A(创建 SparkSession) --> B(读取数据)
B --> C(转换数据)
C --> D(执行操作)
```
### 步骤一：创建 SparkSession
首先，我们需要创建一个 SparkSession，它是 Spark 应用程序的入口点
原创
2023-11-06 06:33:26
63阅读
# Spark SQL 执行过程
Spark SQL 是 Apache Spark 提供的一种高级数据处理引擎，用于处理大规模的结构化和半结构化数据。Spark SQL 可以通过编程接口或者 SQL 查询来进行数据分析和处理。本文将介绍 Spark SQL 的执行过程，并通过代码示例来说明。
## Spark SQL 执行过程概述
Spark SQL 的执行过程可以分为以下几个主要步骤：
原创
2023-12-15 05:19:24
103阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源你需要预习：《Spark的Cache和Checkpoint区别和联系拾遗》《Spark Job 逻辑执行图和数据依赖解析》《S...
转载
2021-06-10 18:19:50
278阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源你需要预习：《Spark的Cache和Checkpoint区别和联系拾遗》《Spark Job 逻辑执行图和数据依赖解析》《S...
转载
2021-06-10 21:04:25
252阅读
js代码的执行，主要分为两个个阶段：编译阶段、执行阶段!本文所有内容基于V8引擎。 1前言 v8引擎 v8引擎工作原理： V8由许多子模块构成，其中这4个模块是最重要的： Parser：负责将JavaScript源码转换为Abstract Syntax Tree (AST)； 如果函数没有被调用，那
转载
2022-07-18 10:08:52
57阅读
1 、用户在客户端执行 SQL 语句时，客户端把这条 SQL 语句发送给服务端，服务端的进程，会处理这条客户端的SQL语句。2 、服务端进程收集到SQL信息后，会在进程全局区PGA 中分配所需内存，存储相关的登录信息等。3 、客户端把 SQL 语句传送到服务器后，服务器进程会对该语句进行解析。这个解析的工作是在服务器端所进行的，解析过程又可细化。(1 )查询高速缓存 服务器进程在接到客
原创
2021-05-08 11:27:28
442阅读
参考地址:http://www.cnblogs.com/klguang/p/4715529.html
转载
2017-08-08 00:11:00
87阅读
2评论
从《Spark SQL实现原理-逻辑计划的创建》一文我们知道，通过创建和操作Dataset会创建一个逻辑计划树。但在创建逻辑计划树时有些属性的类型等信息，此时并不知道，把这些属性称为未解析的（Unresolved）。逻辑计划的分析这一步就是要处理这些未解析的属性，并使用合法性检查规则对表达式的合法性进行检查。实现层面，Spark SQL使用Catalyst逻辑计划分析规则和一个Catalog对象跟
转载
2024-09-30 12:30:40
25阅读
# Spark SQL 的执行过程
Apache Spark 是一个强大的大数据处理框架，提供了丰富的编程接口。其中，Spark SQL 是 Spark 中用于处理结构化数据的重要组件，它能够方便地执行 SQL 查询，并与其他 Spark 组件无缝集成。那么，Spark SQL 的执行过程到底是怎样的呢？本文将详细介绍 Spark SQL 的执行过程，并提供代码示例。
## Spark SQL
原创
2024-08-13 03:48:38
36阅读
## 如何实现“hive on spark 查看执行过程”
### 1. 流程图
```mermaid
flowchart TD;
Start-->A(准备工作);
A-->B(创建Hive表);
B-->C(将Hive表注册为Spark临时表);
C-->D(在Spark中执行查询);
D-->End;
```
### 2. 步骤表格
| 步骤 |
原创
2024-03-15 03:50:57
77阅读
Shuffle洗牌Map阶段处理的数据如何传递给reduce阶段，shuffle在其中起到了很关键的作用，shuffle分布在MapReduce的map阶段和reduce阶段。Map
原创
2022-08-28 00:35:24
106阅读
极简版：1，Driver端向Master发送任务信息2，Master接收到任务信息后，把任务信息放到一个队列中3，Master找到比较空闲的Worker，并通知Worker来拿取任务信息4，Worker向Master拿取任务信息，同时启动Executor子进程5，Executor启动后，开始向Driver端反向注册6，Driver开始向向相应Executor发送任务（task）7，Executor
转载
2023-06-20 09:30:47
428阅读
本文将针对spark中的Driver和Executor讲起，简述了spark的运行流程，部署模式以及内部任务调度机制，希望针对spark任务执行过程进行尽可能好理解的解析1.两个重要的主角在spark中，有两个重要的主角是绕不开的，driver和executor，他们的结构呈一主多从模式，driver就是那个单身狗，控制欲很强，权利也很大，每天独自一人没别的事，就想法设法的指挥着手下一堆execu
转载
2024-06-20 08:27:07
90阅读
