文章目录Spark-SQL解析Antlr4一、简介1.词法分析阶段 （lexical analysis)2.解析阶段二、语法三、编译四、遍历模式1.Listener（观察者模式）2.Visitor（访问者模式）五、Spark-Sql之Antlr41.SqlBase.g42.访问者-AstBuilder3.Spark-SQL执行入口逻辑计划（LogicalPlan）一、TreeNode二、Quer
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-07-11 20:05:03
79阅读
文章目录第一部分 宽窄依赖篇1.依赖关系概述2.依赖分类2.1` Dependency `继承 Serializable2.2 `NarrowDependency `窄依赖，继承 Dependency2.3` OneToOneDependency` 一对一依赖，继承NarrowDependency2.4 `RangeDependency` 范围依赖，继承NarrowDependency2.5 S
转载
2023-10-15 11:55:39
46阅读
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环境，上
转载
2023-09-27 22:15:39
80阅读
Spark源码梳理一、程序的起点spark-submit --class com.sjh.example.SparkPi --master local[*] …/demo.jar在windows下调用spark-submit.cmd在linux下调用spark-submit脚本脚本调用顺序：1、spark-submit2、 spark-submit2.cmdspark-class2.cmd org
转载
2023-10-05 16:42:41
105阅读
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].
受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.
由Spark始吧.
本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.
就从
# Spark 源码解析教程
在进行 Spark 源码解析之前，我们需要遵循一个明确的流程。以下是我们将要采取的步骤以及每一步所需的详细操作。
### 流程步骤
| 步骤 | 描述 |
|------|------|
| 1 | 设置开发环境 |
| 2 | 获取 Spark 源码 |
| 3 | 编译和运行 Spark |
| 4 | 阅读和理解代码 |
| 5
spark版本： 2.0.01.引入为了简单测试项目功能，我们可能只需要使用spark-shell就可以完成，但是企业级项目我们都是先打包好之后使用spark-submit脚本完成线上的spark项目部署。./bin/spark-submit \
--class com.example.spark.Test \
--master yarn \
--deploy-mode client \
/hom
转载
2023-10-11 10:06:06
65阅读
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-08-17 17:34:49
227阅读
Spark广播变量底层的实现原理？ 广播变量Executor端读取是push/put方式。。大家好，我是老兵。前面为大家介绍了一期Spark源码体系剖析，讲述了任务提交->Driver注册启动->SparkContext初始化->Executor启动->Task启动的全流程底层实现。本期为spark源码系列第二讲：broadcast源码剖析。从一个面试题入手，作为后续序列展
转载
2023-09-28 18:40:03
76阅读
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkContex位于项目的源码路径\spark-master\core\src\main\scala\or
1、Spark内核架构深度剖析图解2、宽依赖和窄依赖深度剖析图解 Spark的宽依赖和窄依赖是DAGScheduler将job划分为多个Stage的重要因素，每一个宽依赖都会划分一个Stage。3、基于YARN的两种提交模式深度剖析图解(Yarn_Client、Yarn_Cluster) Spark也支持StanAlone任务调度模式，所有任务调度都由Spark自己进行调度，但是相比较来说使用
# 实现"spark conf"的步骤
## 1. 理解Spark Conf
在开始实现"spark conf"之前，我们首先需要了解什么是Spark Conf。Spark Conf是Spark应用程序的配置类，它用于设置应用程序的各种配置选项，例如应用程序的名称、执行模式、资源分配等。
在Spark中，我们可以使用SparkConf类来创建和配置Spark应用程序的配置对象，然后将其用于创
原创
2023-10-10 14:44:11
81阅读
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间
转载
2020-05-29 18:39:00
385阅读
2评论
前言因为实际业务需求的复杂性，不可避免地需要修改spark源码，重新编译并测试完成后应用于线上生产环境。本文主要介绍在 centos 7.4 上重新编译 spark-2.4.2 源码的过程及遇到的问题。一. 下载源码进入spark官网：http://spark.apache.org/ 点击进入下载页面 找到下面的Archived Releases，点击 release archives. 进入后，
要想学习理解一款流行分布式系统的源码不是一件容易的事情，一定要多次迭代，看无数遍并且领悟其设计思想。第一次看不要纠结于细节，每次迭代过程中增加一点点细节的理解，最终达到豁然开朗的地步。学习优秀的源代码是提高自身技能的最好途径，比做无数个低水平的项目效果要显著的多，好了，闲话少说，让我们试图来理解Spark的世界吧。1、大框架首先要掌握几个基本概念，Spark是分布式计算框架，核心思想是通过将计算
转载
2023-09-04 10:42:34
58阅读
作业执行源码分析当我们的代码执行到了action（行动）操作之后就会触发作业运行。在Spark调度中最重要的是DAGScheduler和TaskScheduler两个调度器，其中，DAGScheduler负责任务的逻辑调度， 将作业拆分为不同阶段的具有依赖关系的任务集。TaskScheduler则负责具体任务的调度执行。提交作业WordCount.scala执行到wordSort.collect(
# Spark Partition 源码解析
## 介绍
在Spark中，Partition是对数据集进行分片的基本单位。Partition负责存储和处理数据的一部分，Spark中的任务（Task）是在每个Partition上执行的。理解Partition的实现原理对于深入理解Spark的工作原理非常重要。本文将介绍如何实现Spark Partition，并给出相应的代码示例和注释。
##
原创
2023-11-03 07:31:35
18阅读
一、spark通过yarn启动的过程在spark通过yarn提交的时候，会去执行SparkSubmit的main方法。override def main(args: Array[String]): Unit = {
val submit = new SparkSubmit() {
self =>
override protected def parseArgu
转载
2023-09-06 18:27:49
121阅读
概述所谓Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO，所以执行时间势必会较长，Spark的Shuffle在1.2之前默认的计算引擎是HashShuffleManager，不过HashShuffleManager有一个十分严重的弊端，就是会产生大量的中间文件。在1.2之后默认Shuffle改为SortShuffleManager，相对于之前，在每个Task虽然
