1、前言 本文是对自己阅读Spark SQL源码过程的一个记录，主线是对尚硅谷Spark SQL最后练习中建立的表的一个简单SQL编写的源码实现流程的跟读。通过自问自答的方式，学习完了整个Spark SQL的执行过程。 Spark SQL最终是通过Spark Core的RDD进行计算。所以在阅读Spark SQL源码之前，一定要深刻掌握Spark Core原理，而阅读源码的思路就是理解Spa
转载
2023-08-26 16:58:05
169阅读
Spark SQL 架构Spark SQL 的整体架构如下图所示从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作Parser 解析 SQL，生成 Unresolved Logical Plan由 Analyzer 结合 Catalog 信息生成 Resolved Logical PlanOptimizer根据预先定义好的规则对
转载
2024-08-19 14:36:03
51阅读
# Spark SQL 执行详解
随着大数据技术的迅猛发展，Apache Spark 吸引了越来越多开发者的目光。Spark SQL 作为 Spark 的一个组件，能够处理结构化数据并提供强大的查询功能。在本篇文章中，我们将探讨 Spark SQL 的执行原理，包括其背后的执行过程、如何优化查询以及代码示例。
## Spark SQL 基础概念
Spark SQL 是一个用于大数据处理的模块
原创
2024-10-04 05:42:24
33阅读
# 执行 Spark SQL：一篇入门指南
Apache Spark 是一个开源的分布式计算框架，广泛应用于大规模数据处理和分析。在 Spark 中，SQL 查询和数据处理可以通过 Spark SQL 模块来执行，这使得数据分析师和工程师能够使用熟悉的 SQL 语言来处理大数据。本文将介绍如何执行 Spark SQL，并通过代码示例来帮助理解。
## 什么是 Spark SQL？
Spark
原创
2024-09-21 07:00:14
22阅读
我已经在之前的 《一条 SQL 在 Apache Spark 之旅（上）》、《一条 SQL 在 Apache Spark 之旅（中）》 以及 《一条 SQL 在 Apache Spark 之旅（下）》 这三篇文章中介绍了 SQL 从用户提交到最后执行都经历了哪些过程，感兴趣的同学可以去这三篇文章看看。这篇文章中我们主要来介绍 SQL 查询计划（Query P
转载
2024-08-16 13:44:41
128阅读
?今天我们来学习阅读spark的执行计划，在学习执行计划之前，我们需要了解spark中的代码是如何执行的，学习代码的执行过程有助于我们加深对spark的理解，对往期内容感兴趣的同学可以查看?:hadoop专题: hadoop系列文章.spark专题: spark系列文章.flink专题: Flink系列文章.?本文主要是讲解spark sql的代码，从本质上说，操作dataframe和sql，sp
转载
2023-10-10 21:41:19
230阅读
spark sql 执行的流程图： SQL 语句经过 SqlParser 解析成 Unresolved LogicalPlan;使用 analyzer 结合数据数据字典 (catalog) 进行绑定, 生成 resolved LogicalPlan;使用 optimizer 对 resolved LogicalPlan 进行优化, 生成 optimized LogicalPl
转载
2023-06-14 22:00:58
665阅读
原理剖析SparkSQL工作原理剖析.png 执行计划 只要是在数据库类型的技术里面，比如传统的MySql、Oracle等，包括现在大数据领域的数据仓库，比如Hive，它的基本的SQL执行的模型，都是类似的，首先都是要生成一条SQL语句的执行计划 比如，select name from students => 从哪里去查询，students表，在那个文件里，从文件中查询哪些数据，比
转载
2023-08-13 20:50:46
108阅读
文章目录前言一、Spark SQL概述1.1 Spark是什么1.2 Spark SQL优势1.3Spark SQL数据抽象1.4RDD，DataFame，Dataset区别和共性二，Spark SQL原理2.1SparkSession2.3三者的转换2.4SparkSQL中的join2.5 SQL解析过程 前言Spark SQL自从面世以来不仅接过了shark的接力棒，为spark用户提供高性
转载
2023-11-25 12:59:03
65阅读
## 使用 Spark SQL 执行 SQL 脚本
作为一位经验丰富的开发者，你需要教会一位刚入行的小白如何使用 Spark SQL 执行 SQL 脚本。下面是整个过程的步骤以及每一步需要做的事情。
### 步骤概览
| 步骤 | 动作 |
|:----:|------|
| 1 | 创建 SparkSession |
| 2 | 加载数据 |
| 3 | 创建临时表 |
原创
2024-02-04 05:18:44
505阅读
本章就着重介绍一个工具hive/console，来加深读者对sparkSQL的执行计划的理解。
1：hive/console安装该工具是给开发人员使用，在编译生成的安装部署包中并没有；该工具须要使用sbt编译执行。要使用该工具，须要具备下面条件：spark1.1.0源代码hive0.12源代码并编译配置环境变量
1.1：安装hive/cosole
以下是笔者安装过程：
A：下载spark1.1.0
转载
2023-08-21 17:28:58
118阅读
# 执行SQL语句的Spark命令解析
Apache Spark 是一种快速、通用、可扩展的数据处理引擎，它提供了丰富的API供用户处理大规模数据。Spark SQL 是 Spark 中用于结构化数据处理的模块，可以通过 SQL 查询语言或DataFrame API来分析数据。在Spark中，我们可以通过命令行或编程方式执行 SQL 语句来完成数据处理任务。
## Spark 命令行执行SQL
原创
2024-06-01 06:47:19
274阅读
数据倾斜只会发生在shuffle过程中。这里给大家罗列一些常用的并且可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等出现数据倾斜时，可能就是你的代码中使用了这些算子中的某一个所导致的。某个task执行特别慢的情况首先要看的，就是数据倾斜发生在第几个stage中。 可以
# Spark SQL 执行方案解决问题
在大数据处理中，Spark SQL 是一个非常重要的组件，它提供了一种高效的方式来处理结构化数据。Spark SQL 可以通过 SQL 查询、DataFrame API 或者 Dataset API 来操作数据。本文将介绍一个问题，并给出一个解决方案，其中包含了 Spark SQL 的执行过程。
## 问题描述
假设我们有一个包含学生信息的数据集，包
原创
2024-06-25 05:01:16
20阅读
第7章 Spark SQL 的运行原理（了解）
7.1 Spark SQL运行架构对SQL语句的处理和关系型数据库类似，即词法/语法解析、绑定、优化、执行。Spark SQL会先将SQL语句解析成一棵树，然后使用规则(Rule)对Tree进行绑定、优化等处理过程。Spark SQL由Core、Catalyst、Hive、Hive-ThriftServer四部分构成：负责处理数据的输入和输出，如获
转载
2024-08-01 11:16:42
108阅读
# Spark SQL 立即执行
在大数据处理中，Spark SQL 是一种非常流行的工具，它允许我们使用 SQL 语句来查询和处理大规模数据集。然而，Spark SQL 默认是延迟执行的，也就是说，当我们编写一个查询时，它并不会立即执行，而是等到我们调用 `show()` 或 `collect()` 等操作时才会执行。这在某些情况下可能会影响性能。为了解决这个问题，我们可以使用 Spark S
原创
2024-07-18 03:49:29
92阅读
# Spark SQL 执行顺序详解
Spark SQL 是 Apache Spark 生态系统中的一个组件，提供了一种基于 Spark 的结构化数据处理方式。在 Spark SQL 中，我们可以使用 SQL 或者 DataFrame API 来操作数据，执行各种数据处理任务。在使用 Spark SQL 进行数据处理时，了解 Spark SQL 的执行顺序是非常重要的，可以帮助我们更好地优化代码
原创
2024-05-30 05:43:13
316阅读
# 手把手教你使用Spark执行SQL文件
作为一名刚入行的开发者，你可能对如何使用Spark执行SQL文件感到困惑。本文将为你详细介绍整个流程，包括所需的步骤、代码示例以及必要的注释，帮助你快速掌握这项技能。
## 流程概览
首先，我们通过一个表格来概览整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备环境 |
| 2 | 创建SparkSession |
原创
2024-07-20 11:13:51
110阅读
# Spark 程序执行 SQL
## 简介
Spark是一个强大的分布式计算框架，可以处理大规模数据集并提供高性能的数据处理能力。Spark可以通过Scala、Java、Python等语言进行编程，其中最常用的语言是Scala。Spark提供了一个SQL模块，可以用于执行SQL查询和操作数据。本文将介绍如何在Spark程序中执行SQL，并提供相应的代码示例。
## Spark SQL
S
原创
2024-01-20 08:38:01
61阅读
# Spark执行SQL语句：简介与实例
在大数据领域，Spark是一个非常流行的分布式计算框架。它的灵活性和高性能使得它成为处理大规模数据的首选工具之一。Spark不仅支持基本的数据处理操作，还提供了执行SQL查询的功能，这使得使用Spark进行数据分析变得更加方便和直观。
## Spark SQL简介
Spark SQL是Spark生态系统中的一个模块，它提供了一种在Spark中处理结构
原创
2023-12-01 08:30:54
78阅读
