最近准备开始看spark源码，第一步当然是要搭建一个舒适的spark源码阅读环境，通过单步调试才能顺藤摸瓜的理清具体脉络，有助与提高阅读效率。在搭建环境过程中，遇到一些奇怪的错误，但居然都鬼使神差的搞定了，人品啊，哈哈哈Spark的源码使用scala语言编写的，说到scala的IDE工具，首选当然是idea，idea安装scala插件我这里就详说了，除了idea外，我们还需要安装的软件有：mave
转载
2023-08-07 01:25:05
89阅读
Spark Shuffle 源码剖析概念理论铺垫一、 Spark 分区数量由谁决定Spark source 如果是TextFile() 读取HDFS中的文件，2参数，第一个参数是路径，第二个是指定分区数量如果指定分区数量，0或1，则分区数量的多少取决于文件数量的多少如果没有指定分区数量，默认则是2，如果文件总大小为100m，100/2(分区数量)=50，50为goalSize，如果50会和Hdfs
ReduceBykey&GroupByKey 文章目录ReduceBykey&GroupByKeygroupByKey源码reduceBykey与groupByKey对比 groupByKey源码上一篇文章中讲到了reduceBykey的源码。还有个比较常见的算子是groupByKey，源码如下：/**
* Group the values for each key in the
Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。官方源码解释：三种形式的reduceByKey总体来说下面三种形式的方法备注大意为： 根据用户传入的函数来对（K,V）中每个K对应的所有values做merge操作(具体的操作类型根据用户定义的函
转载
2023-09-04 13:43:06
58阅读
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-07-11 20:05:03
79阅读
阅读好的开源项目是最好的学习code的方法，在一个大型项目中会涉及到软件工程的方方面面。项目代码作为最终的落地物质，其中必然会留下很多顶尖工程师、架构师、设计团队思考的痕迹；如果从这个层面去看一个开源项目，其实至少包括三个方面：1）这个项目是如何架构的，会用到哪些关键技术2）实现这些设计是怎么落到code层面，利用了哪些技巧3）利用了哪些好的库和管理的工具方法理念学习一个开源项目可以从
转载
2023-08-13 14:04:44
52阅读
文章目录第一部分 宽窄依赖篇1.依赖关系概述2.依赖分类2.1` Dependency `继承 Serializable2.2 `NarrowDependency `窄依赖，继承 Dependency2.3` OneToOneDependency` 一对一依赖，继承NarrowDependency2.4 `RangeDependency` 范围依赖，继承NarrowDependency2.5 S
转载
2023-10-15 11:55:39
46阅读
1、读《apache spark 源码剖析》第四章第1节作业提交
我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)来学习
2、源码学习
把例子像书中一样分成了几个子句，在命
本文要解决的问题：通过Spark源码学习，进一步深入了解Shuffle过程。Shuffle 介绍在Map和Reduce之间的过程就是Shuffle，Shuffle的性能直接影响整个Spark的性能。所以Shuffle至关重要。从图中得知，Map输出的结构产生在bucket中。而bucket的数量是map*reduce的个数。这里的每一个bucket都对应一个文件。Map对bucket书是写入数据，
转载
2023-11-02 00:21:53
47阅读
Spark Shuffle 源码在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。 ShuffleMapStage的结束伴随着shuffle文件的写磁盘。 ResultStage基本上对应代码中的action算子，即将一个函数应用在RDD的各个partition的数据集上，意味着一个j
Spark源码系列(二) Dependency&ReduceBykey源码 文章目录Spark源码系列(二) Dependency&ReduceBykey源码DependencyShuffleDependency 在Spark源码系列（一）RDD的文章中，主要提到了RDD的由来、原理以及主要的Transformation&Action算子。其中依赖和reduceBykey
转载
2023-10-05 16:09:56
46阅读
Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapRed
Spark源码梳理一、程序的起点spark-submit --class com.sjh.example.SparkPi --master local[*] …/demo.jar在windows下调用spark-submit.cmd在linux下调用spark-submit脚本脚本调用顺序：1、spark-submit2、 spark-submit2.cmdspark-class2.cmd org
转载
2023-10-05 16:42:41
105阅读
RDD之getNarrowAncestors内部方法分析最近开始spark的源码攻关，其实看源码一直是我最怕的东西，因为太多、太杂、太深导致不能够很好的把我脉络导致每次最后都放弃。有人跟我说看源码可以阶段性一个方法一个方法的去学习，去看，每天积累一点总会成功，那么今天开始我的第一天spark源码分析。我这里从spark最基本的RDD中的方法说起，我感觉这样会更容易一些。同时我只对其中感觉比较重要的
转载
2023-08-31 23:52:51
65阅读
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].
受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.
由Spark始吧.
本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.
就从
在学习spark的过程中发现很多博客对概念和原理的讲解存在矛盾或者理解不透彻，所以开始对照源码学习，发现根据概念总结去寻找对应源码，能更好理解，但随之而来的问题是好多源码看不懂，只跑example的话好多地方跑不到，但是结合测试类理解起来就方便多了。fork一份源码，在未修改源码的情况下（修改源码后，比如加注释等，在编译阶段容易报错）,使用gitbash进入项目的根目录下，执行下面2条命令使用mv
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环境，上
转载
2023-09-27 22:15:39
80阅读
# 如何实现SPARK源码
## 流程概述
为了帮助你理解如何实现SPARK源码，我首先整理了一个流程表格，希望能够帮助你更清晰地了解整个过程。
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载SPARK源码 |
| 2 | 构建SPARK源码 |
| 3 | 阅读SPARK源码 |
| 4 | 修改SPARK源码 |
| 5 | 测试修改后的SPARK源码 |
| 6
https://www.jianshu.com/p/0bf807929d9b 简书上的spark streaming源码对于spark源码的目录结构 1、编译相关 : sbt 、assembly、project 2、spark核心 ：core 3、Spark Lib ： streaming 、 sql 、graphx 、mllib 4、运行脚本和配置 ...
原创
2022-01-17 14:05:18
109阅读
Spark广播变量底层的实现原理？ 广播变量Executor端读取是push/put方式。。大家好，我是老兵。前面为大家介绍了一期Spark源码体系剖析，讲述了任务提交->Driver注册启动->SparkContext初始化->Executor启动->Task启动的全流程底层实现。本期为spark源码系列第二讲：broadcast源码剖析。从一个面试题入手，作为后续序列展
转载
2023-09-28 18:40:03
76阅读
