从《Spark SQL实现原理-逻辑计划的创建》一文我们知道，通过创建和操作Dataset会创建一个逻辑计划树。但在创建逻辑计划树时有些属性的类型等信息，此时并不知道，把这些属性称为未解析的（Unresolved）。逻辑计划的分析这一步就是要处理这些未解析的属性，并使用合法性检查规则对表达式的合法性进行检查。实现层面，Spark SQL使用Catalyst逻辑计划分析规则和一个Catalog对象跟
转载
2024-09-30 12:30:40
25阅读
# Spark SQL 执行过程
Spark SQL 是 Apache Spark 提供的一种高级数据处理引擎，用于处理大规模的结构化和半结构化数据。Spark SQL 可以通过编程接口或者 SQL 查询来进行数据分析和处理。本文将介绍 Spark SQL 的执行过程，并通过代码示例来说明。
## Spark SQL 执行过程概述
Spark SQL 的执行过程可以分为以下几个主要步骤：
原创
2023-12-15 05:19:24
103阅读
# Spark 程序执行 SQL
## 简介
Spark是一个强大的分布式计算框架，可以处理大规模数据集并提供高性能的数据处理能力。Spark可以通过Scala、Java、Python等语言进行编程，其中最常用的语言是Scala。Spark提供了一个SQL模块，可以用于执行SQL查询和操作数据。本文将介绍如何在Spark程序中执行SQL，并提供相应的代码示例。
## Spark SQL
S
原创
2024-01-20 08:38:01
61阅读
# Spark SQL 的执行过程
Apache Spark 是一个强大的大数据处理框架，提供了丰富的编程接口。其中，Spark SQL 是 Spark 中用于处理结构化数据的重要组件，它能够方便地执行 SQL 查询，并与其他 Spark 组件无缝集成。那么，Spark SQL 的执行过程到底是怎样的呢？本文将详细介绍 Spark SQL 的执行过程，并提供代码示例。
## Spark SQL
原创
2024-08-13 03:48:38
36阅读
极简版：1，Driver端向Master发送任务信息2，Master接收到任务信息后，把任务信息放到一个队列中3，Master找到比较空闲的Worker，并通知Worker来拿取任务信息4，Worker向Master拿取任务信息，同时启动Executor子进程5，Executor启动后，开始向Driver端反向注册6，Driver开始向向相应Executor发送任务（task）7，Executor
转载
2023-06-20 09:30:47
428阅读
1 执行第一个Spark程序该算法是利用蒙特·卡罗算法求PI/home/hadoop/software/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://harvey:7077 \
--executor-memory 1G \
--total-executor-cores 2
转载
2023-09-04 11:12:50
72阅读
应用举例及流程概述//初始化SparkSession
val spark = SparkSession.builder().appName("example").master("local").getOrCreate()
val person = spark.read.text("examples/src/main/resources/people.txt").map(_.split(" "
转载
2024-02-04 22:35:12
41阅读
1、懒执行数据从源头到处理，并不是每一步操作都会立刻执行。在spark操作方法中，分为Transformation与Action两类操作。 transformation：一个方法由RDD调用，执行后产生另一个RDD。 Action：一个方法由RDD调用，执行后不是产生另一个RDD，而是产生一个非RDD的结果，例如collect，count。Tra
转载
2023-08-06 11:54:26
73阅读
spark on yarn 资源调度流程cluster模式为例:客户端向ResourceManager发送请求,ResourceManager返回applicationID和要上传的hdfs目录客户端将jar包和配置文件上传到hdfs指定目录客户端向ResourceManager申请资源来启动ApplicationMasterRM找一台资源充足的NM,进行通信,NM通过rpc的方式从hdfs上下载
转载
2023-09-23 21:00:44
28阅读
Spark SQL 架构Spark SQL 的整体架构如下图所示从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作Parser 解析 SQL，生成 Unresolved Logical Plan由 Analyzer 结合 Catalog 信息生成 Resolved Logical PlanOptimizer根据预先定义好的规则对
转载
2024-08-19 14:36:03
51阅读
1、前言 本文是对自己阅读Spark SQL源码过程的一个记录，主线是对尚硅谷Spark SQL最后练习中建立的表的一个简单SQL编写的源码实现流程的跟读。通过自问自答的方式，学习完了整个Spark SQL的执行过程。 Spark SQL最终是通过Spark Core的RDD进行计算。所以在阅读Spark SQL源码之前，一定要深刻掌握Spark Core原理，而阅读源码的思路就是理解Spa
转载
2023-08-26 16:58:05
169阅读
## 查看 Spark 执行过程的步骤
整体流程如下图所示：
```mermaid
flowchart TD
A(创建 SparkSession) --> B(读取数据)
B --> C(转换数据)
C --> D(执行操作)
```
### 步骤一：创建 SparkSession
首先，我们需要创建一个 SparkSession，它是 Spark 应用程序的入口点
原创
2023-11-06 06:33:26
63阅读
Spark内容1.Spark的内存模型 2.Spark的执行过程 3.SparkSQL的执行过程
本次主要理解和整理执行过程1.简单介绍Spark的执行过程概念： SparkContext-- Driver-- Executor- DAG Scheduler - TaskScheduler
过程：
1.构建Spark Application 的运行环境，启动 SparkContext
2.
转载
2023-05-30 11:20:50
86阅读
Spark 执行流程 解析1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中 我们提交程序后 会创建一个Driver 进程2、Driver 构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler3、TaskSched
转载
2024-02-08 07:14:09
47阅读
Spark的基本概念：（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并
转载
2023-08-08 13:13:52
126阅读
从SQL的解析、执行与调优到Sparksql的解析与应用SparkSQL总体流程介绍在阐述Join实现之前，我们首先简单介绍SparkSQL的总体流程，一般地，我们有两种方式使用SparkSQL，一种是直接写sql语句，这个需要有元数据库支持，例如Hive等，另一种是通过Dataset/DataFrame编写Spark应用程序。如下图所示，sql语句被语法解析(SQL AST)成查询计划，或者我们
转载
2024-02-04 22:46:31
102阅读
我已经在之前的 《一条 SQL 在 Apache Spark 之旅（上）》、《一条 SQL 在 Apache Spark 之旅（中）》 以及 《一条 SQL 在 Apache Spark 之旅（下）》 这三篇文章中介绍了 SQL 从用户提交到最后执行都经历了哪些过程，感兴趣的同学可以去这三篇文章看看。这篇文章中我们主要来介绍 SQL 查询计划（Query P
转载
2024-08-16 13:44:41
128阅读
# 执行 Spark SQL：一篇入门指南
Apache Spark 是一个开源的分布式计算框架，广泛应用于大规模数据处理和分析。在 Spark 中，SQL 查询和数据处理可以通过 Spark SQL 模块来执行，这使得数据分析师和工程师能够使用熟悉的 SQL 语言来处理大数据。本文将介绍如何执行 Spark SQL，并通过代码示例来帮助理解。
## 什么是 Spark SQL？
Spark
原创
2024-09-21 07:00:14
22阅读
# Spark SQL 执行详解
随着大数据技术的迅猛发展，Apache Spark 吸引了越来越多开发者的目光。Spark SQL 作为 Spark 的一个组件，能够处理结构化数据并提供强大的查询功能。在本篇文章中，我们将探讨 Spark SQL 的执行原理，包括其背后的执行过程、如何优化查询以及代码示例。
## Spark SQL 基础概念
Spark SQL 是一个用于大数据处理的模块
原创
2024-10-04 05:42:24
33阅读
spark sql 执行的流程图： SQL 语句经过 SqlParser 解析成 Unresolved LogicalPlan;使用 analyzer 结合数据数据字典 (catalog) 进行绑定, 生成 resolved LogicalPlan;使用 optimizer 对 resolved LogicalPlan 进行优化, 生成 optimized LogicalPl
转载
2023-06-14 22:00:58
665阅读
