Spark核心组件 DriverSpark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：将用户程序转化为作业（job）；在Executor之间调度任务(task)；跟踪Executor的执行情况；通过UI展示查询运行情况； ExecutorSpark Executor节点是一个JVM进程，负责
转载
2023-07-11 10:27:30
95阅读
1 Spark源码的下载作为一名大数据开发工程师，研读源码是我们日常开发学习中必不可少的环节，而万里长征的第一步就是编译源码。开源Spark主要有3大发行版Apache，CDH和HDP，本文以Apache Spark 2.4.5为例展开。1） 访问Apache Spark官网http://spark.apache.org/，点击Download2）选择版本和文件类型 特别注意最后一行声明，除了Sp
转载
2023-09-20 15:21:08
200阅读
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-07-11 20:05:03
79阅读
文章目录第一部分 宽窄依赖篇1.依赖关系概述2.依赖分类2.1` Dependency `继承 Serializable2.2 `NarrowDependency `窄依赖，继承 Dependency2.3` OneToOneDependency` 一对一依赖，继承NarrowDependency2.4 `RangeDependency` 范围依赖，继承NarrowDependency2.5 S
转载
2023-10-15 11:55:39
46阅读
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].
受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.
由Spark始吧.
本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.
就从
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环境，上
转载
2023-09-27 22:15:39
80阅读
Spark源码梳理一、程序的起点spark-submit --class com.sjh.example.SparkPi --master local[*] …/demo.jar在windows下调用spark-submit.cmd在linux下调用spark-submit脚本脚本调用顺序：1、spark-submit2、 spark-submit2.cmdspark-class2.cmd org
转载
2023-10-05 16:42:41
105阅读
# Spark 源码解析教程
在进行 Spark 源码解析之前，我们需要遵循一个明确的流程。以下是我们将要采取的步骤以及每一步所需的详细操作。
### 流程步骤
| 步骤 | 描述 |
|------|------|
| 1 | 设置开发环境 |
| 2 | 获取 Spark 源码 |
| 3 | 编译和运行 Spark |
| 4 | 阅读和理解代码 |
| 5
一、内存模型spark运行使用内存主要包含driver和executor，通过driver-memory和executor-memory进行设置，通过运行机制得知，driver负责提交注册，接受executor反向注册，stage划分和task任务分发等工作，默认内存大小为1G，在使用collect算子时，需要注意oom，因为collect算子将数据拉取到driver，spark的主要作业发生在e
转载
2023-08-04 10:23:42
681阅读
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-08-17 17:34:49
227阅读
Spark广播变量底层的实现原理？ 广播变量Executor端读取是push/put方式。。大家好，我是老兵。前面为大家介绍了一期Spark源码体系剖析，讲述了任务提交->Driver注册启动->SparkContext初始化->Executor启动->Task启动的全流程底层实现。本期为spark源码系列第二讲：broadcast源码剖析。从一个面试题入手，作为后续序列展
转载
2023-09-28 18:40:03
76阅读
spark版本： 2.0.01.引入为了简单测试项目功能，我们可能只需要使用spark-shell就可以完成，但是企业级项目我们都是先打包好之后使用spark-submit脚本完成线上的spark项目部署。./bin/spark-submit \
--class com.example.spark.Test \
--master yarn \
--deploy-mode client \
/hom
转载
2023-10-11 10:06:06
65阅读
1、Spark内核架构深度剖析图解2、宽依赖和窄依赖深度剖析图解 Spark的宽依赖和窄依赖是DAGScheduler将job划分为多个Stage的重要因素，每一个宽依赖都会划分一个Stage。3、基于YARN的两种提交模式深度剖析图解(Yarn_Client、Yarn_Cluster) Spark也支持StanAlone任务调度模式，所有任务调度都由Spark自己进行调度，但是相比较来说使用
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkContex位于项目的源码路径\spark-master\core\src\main\scala\or
一、Spark运行原理Spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动（参见 client和cluster的区别）。Driver进程最开始会向集群管理器（可以是Spark Standalone集群，也可以是其他的资源管理集群，比如YARN资源管
为了规划和执行分布式计算，使用job概念，使用Stages和Tasks，跨工作节点执行。 Spark由driver组成，在一组工作节点上协调执行。它还负责跟踪所有工作节点，以及节点上执行的工作。Driver：包含应用程序和主程序。Executor：工作节点上运行的进程。Inside the executor, the individual tasks or computations are run
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间
转载
2020-05-29 18:39:00
385阅读
2评论
作业执行源码分析当我们的代码执行到了action（行动）操作之后就会触发作业运行。在Spark调度中最重要的是DAGScheduler和TaskScheduler两个调度器，其中，DAGScheduler负责任务的逻辑调度， 将作业拆分为不同阶段的具有依赖关系的任务集。TaskScheduler则负责具体任务的调度执行。提交作业WordCount.scala执行到wordSort.collect(
前言因为实际业务需求的复杂性，不可避免地需要修改spark源码，重新编译并测试完成后应用于线上生产环境。本文主要介绍在 centos 7.4 上重新编译 spark-2.4.2 源码的过程及遇到的问题。一. 下载源码进入spark官网：http://spark.apache.org/ 点击进入下载页面 找到下面的Archived Releases，点击 release archives. 进入后，
要想学习理解一款流行分布式系统的源码不是一件容易的事情，一定要多次迭代，看无数遍并且领悟其设计思想。第一次看不要纠结于细节，每次迭代过程中增加一点点细节的理解，最终达到豁然开朗的地步。学习优秀的源代码是提高自身技能的最好途径，比做无数个低水平的项目效果要显著的多，好了，闲话少说，让我们试图来理解Spark的世界吧。1、大框架首先要掌握几个基本概念，Spark是分布式计算框架，核心思想是通过将计算
转载
2023-09-04 10:42:34
58阅读
