## Spark 遍历 SparkPlan
Apache Spark 是一个强大的分布式计算框架，其内部最重要的组成部分之一是 SparkPlan。SparkPlan 是 Spark SQL 中用来表示执行计划的抽象结构，它定义了如何读取、处理和输出数据。理解如何遍历 SparkPlan 可以帮助你更好地优化 Spark 作业和理解其执行过程。本文将通过代码示例以及一些图示来帮助你理解这一过程。
此阶段是从优化过的LogicalPlan转换成物理执行计划PhysicalPlan plan 是从BaseSessionStateBuilder中实例化的。 sparkPlan的继承关系： sparkPlan -> SparkStrategies -> QueryPlanner -> TreeNodesparkPlan继承了SparkStrategies, strategies(
SparkPlan准备阶段介绍前面经过千辛万苦，终于生成可实际执行的SparkPlan（即PhysicalPlan）。但在真正执行前，还需要做一些准备工作，包括在必要的地方插入一些shuffle作业，在需要的地方进行数据格式转换等等。这部分内容都在org.apache.spark.sql.execution.QueryExecution类中。我们看看代码class QueryExecution(v
原理 大概有6步：sql 语句经过 SqlParser 解析成 Unresolved Logical Plan;analyzer 结合 catalog 进行绑定,生成 Logical Plan;optimizer 对 Logical Plan 优化,生成 Optimized LogicalPlan;SparkPlan 将 Optimized LogicalPlan 转换成 Physical Pla
转载
2024-01-03 16:41:47
64阅读
概述
本文介绍Spark SQL增加的Columnar模块代码实现。
首先介绍Columnar内的代码结构和实现，然后介绍在SqlContext里的使用方式。
ColumnarInMemoryColumnarTableScan实现 InMemoryColumnarTableScan类是SparkPlan LeafNode的实现，即是一个物理执行计划。private[sq
转载
2024-07-01 17:10:10
52阅读
一、工作原理剖析： Spark SQL 架构中主要有这几个关键的组件：SqlParser(Sql分析程序) ，Analyser(分析器) ，Optimizer（优化器） ，SparkPlan（Spark计划） SparkSQL大致的执行流程是这样的： 1. SQL 语句经过SqlParser 完成sql 语句的语法解析功能，解析成Unresolved LogicalPlan（未解析的逻辑计划
转载
2023-08-09 20:19:43
55阅读
Spark sql是Apache spark在即将发布的1.0版本的新特性。本文从SQL解析，分析器解析，查询优化到物理执行计划执行，结合spark core模块详细分析spark sql的实现细节。
Spark sql中，TreeNode贯穿始终，继承于TreeNode的有三类数据结构，分别为LogicalPlan，SparkPlan和Expression（LogicalPlan和Spa
转载
2024-06-04 08:11:06
47阅读
Spark SQL物理计划要到Spark-core执行，需要将Spark SQL物理计划转化成RDD，并且建立RDD之间的依赖关系。这个过程可以通过如下图大概表示：上图中绿色部分指Spark物理计划到RDD过程中数据结构的变迁过程。黄色部分表示变迁过程中，起加工作用的数据结构。一：从SparkPlan到Exchange优化后的Spark SQL物理计划对数据Distri
转载
2023-05-23 12:05:26
91阅读
