从脚本说起
在看源码之前，我们一般会看相关脚本了解其初始化信息以及Bootstrap类，Spark也不例外，而Spark我们启动三端使用的脚本如下：
%SPARK_HOME%/sbin/start-master.sh%SPARK_HOME%/sbin/start-slaves.sh%SPARK_HOME%/sbin
文章目录先跑起来明确自己的目的区分主线和支线剧情纵向和横向情景分析利用好测试用例厘清核心数据结构之间的关系多问自己几个问题写自己的代码阅读笔记总结 我是怎么读代码的如何阅读一份代码？阅读源代码的能力算是程序员的一种底层基础能力之一，这个能力之所以重要，原因在于：不可避免的需要阅读或者接手他人的项目。比如调研一个开源项目，比如接手一个其他人的项目。阅读优秀的项目源码是学习他人优秀经验的重要途径之一
# Spark核心源码分析与开发实战
Apache Spark是一个广泛使用的大数据处理框架，其高效的数据处理能力和灵活的架构设计使其在业界广受欢迎。本篇文章将深入探讨Spark的核心源码，并通过代码示例帮助大家理解内部机制。同时，我们还将展示旅行图和甘特图，帮助你更好地理解Spark的工作流程。
## Spark概述
Apache Spark是一个快速通用的集群计算系统，提供了大规模数据处
spark的参数与提交的流程前言:个人读源码的一次记录 首先,SparkSubmit的入口在:org.apache.spark.deploy.SparkSubmit,下面会有一个main方法 点进SparkSubmitArguments(封装命令行参数): 是否很熟悉?接着往下看,解析,参数是先将scala的数组转成java的数组,然后往下传点进parse,会有一个handle方法,在SparkS
转载
2023-09-22 20:17:34
35阅读
原标题：Spark核心技术原理透视一(Spark运行原理)在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Mac
转载
2023-08-10 17:05:03
36阅读
文章目录1. RDD2. 与MapReduce对比3. Spark的各大组件4. Spark执行流程5. 执行过程中的一些细节6. Spark的部署模式和作业提交部署模式Spark的作业提交7. 宽窄依赖DAGScheduler的stage划分算法7. Shuffle(1)Shuffle Write详解(2)Shuffle Read详解(3)reduceByKey和groupByKey的区别？(
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理
原创
2022-03-23 10:24:56
767阅读
1. Spark是什么?Spark是一个并行数据处理框架。它允许开发快速、统一的大数据应用程序，将批处理、流处理和交互分析结合起来。 2. RDD是什么?Spark的主要核心抽象称为弹性分布式数据集。RDD是满足这些属性的分区数据的集合。不可变、分布式、延迟计算、可捕获是常见的RDD属性。 3. Immutable 是什么?一旦创建并赋值，就不可能更改，这个属性称为
特点大规模快速通用的计算引擎（hadoop 花费90%时间用户rw）DAG：有向无环图使用80+算子（操作符），容易构建并行应用基于Hadoop的mr，扩展mr模型高效实用，内存型集群计算，提高app处理速度。支持语言多spark模块core //通用执行引擎，提供内存计算和对外部数据集的引用。
SQL //构建在core之上，引入新的抽象SchemaRDD，提供了结构化和半结构化支
转载
2023-08-29 14:18:10
39阅读
一、Spark的两种核心Shuffle Shuffle涉及磁盘的读写和网络的IO，因此shuffle性能的高低直接影响整个程序的性能。Spark也有map阶段和reduce阶段，因此也有Shuffle。 1）基于hash的shuffle 在每个Map阶段的task会为每个reduce阶段的task生成一个文件，通常会产生大量的文件（m * r）伴随着大量的随机磁盘IO与大量内存的开销。
转载
2023-08-12 21:20:04
82阅读
我的Spark源码核心SparkContext走读全纪录Dirver Program(SparkConf) package org.apache.spark.SparkConfMaster package org.apache.spark.deploy.masterSparkContext package org.apa
原创
2016-09-23 20:32:24
462阅读
最近准备开始看spark源码，第一步当然是要搭建一个舒适的spark源码阅读环境，通过单步调试才能顺藤摸瓜的理清具体脉络，有助与提高阅读效率。在搭建环境过程中，遇到一些奇怪的错误，但居然都鬼使神差的搞定了，人品啊，哈哈哈Spark的源码使用scala语言编写的，说到scala的IDE工具，首选当然是idea，idea安装scala插件我这里就详说了，除了idea外，我们还需要安装的软件有：mave
转载
2023-08-07 01:25:05
89阅读
MLib：机器学习GraphX：图计算wordcount
原创
2021-09-22 10:10:46
150阅读
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
原创
2022-11-28 15:42:03
49阅读
1.RDD概念：RDD(Resilient Distributed Dateset)，弹性分布式数据集。RDD 的五大特性：1 .RDD 是由一系列的 partition 组
原创
2022-07-01 17:31:26
54阅读
[TOC]Spark RDD非常基本的说明，下面一张图就能够有基本的理解：Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset，弹性分布式数据集)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区
## 如何实现“Spark核心设计”
### 1. 整体流程
下面是实现“Spark核心设计”的整体流程：
```mermaid
erDiagram
开发者 --> 小白: 教学
```
```mermaid
flowchart TD
A(了解需求) --> B(分析需求)
B --> C(搭建Spark环境)
C --> D(编写Spark代码)
学习Spark的入门教程——《Spark核心源码分析与开发实战》
原创
2016-06-22 11:32:47
1057阅读
MLib：机器学习GraphX：图计算wordcount
原创
2022-01-18 14:47:57
23阅读
## Spark核心模块实现流程
为了帮助你理解如何实现Spark核心模块，我将按照以下步骤进行说明：
步骤 | 操作内容
----|---------
1 | 创建一个Spark应用程序
2 | 构建SparkSession
3 | 加载数据
4 | 对数据进行转换和操作
5 | 执行计算
6 | 处理计算结果
下面我将详细解释每一步的操作和对应的代码。
### 1. 创建一个Spark
原创
2023-10-19 14:35:45
24阅读
