最近一直在研究Spark，也自己练习做了几个项目，对于Spark这个框架特别的喜爱，尤其是其一站式的大数据解决方案，而且也对Spark MLlib中的机器学习算法很感兴趣，也学习过一段时间。但是在自己空闲下来回想，对于Spark的理解自己仅仅只是停留在表层，如果只是使用API来编写Spark程序，那么无疑将Spark与其他普通的框架混为一谈，发挥不了其作用，根本谈不上说熟悉Spark。因此，想花一
转载
2023-11-29 08:59:53
47阅读
文章目录1. RDD2. 与MapReduce对比3. Spark的各大组件4. Spark执行流程5. 执行过程中的一些细节6. Spark的部署模式和作业提交部署模式Spark的作业提交7. 宽窄依赖DAGScheduler的stage划分算法7. Shuffle(1)Shuffle Write详解(2)Shuffle Read详解(3)reduceByKey和groupByKey的区别？(
转载
2023-11-19 19:18:27
56阅读
原标题：Spark核心技术原理透视一(Spark运行原理)在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Mac
转载
2023-08-10 17:05:03
38阅读
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理
原创
2022-03-23 10:24:56
832阅读
一、Spark的两种核心Shuffle Shuffle涉及磁盘的读写和网络的IO，因此shuffle性能的高低直接影响整个程序的性能。Spark也有map阶段和reduce阶段，因此也有Shuffle。 1）基于hash的shuffle 在每个Map阶段的task会为每个reduce阶段的task生成一个文件，通常会产生大量的文件（m * r）伴随着大量的随机磁盘IO与大量内存的开销。
转载
2023-08-12 21:20:04
104阅读
特点大规模快速通用的计算引擎（hadoop 花费90%时间用户rw）DAG：有向无环图使用80+算子（操作符），容易构建并行应用基于Hadoop的mr，扩展mr模型高效实用，内存型集群计算，提高app处理速度。支持语言多spark模块core //通用执行引擎，提供内存计算和对外部数据集的引用。
SQL //构建在core之上，引入新的抽象SchemaRDD，提供了结构化和半结构化支
转载
2023-08-29 14:18:10
66阅读
1. Spark是什么?Spark是一个并行数据处理框架。它允许开发快速、统一的大数据应用程序，将批处理、流处理和交互分析结合起来。 2. RDD是什么?Spark的主要核心抽象称为弹性分布式数据集。RDD是满足这些属性的分区数据的集合。不可变、分布式、延迟计算、可捕获是常见的RDD属性。 3. Immutable 是什么?一旦创建并赋值，就不可能更改，这个属性称为
转载
2024-03-03 22:30:13
22阅读
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
原创
2022-11-28 15:42:03
95阅读
1.RDD概念：RDD(Resilient Distributed Dateset)，弹性分布式数据集。RDD 的五大特性：1 .RDD 是由一系列的 partition 组
原创
2022-07-01 17:31:26
63阅读
## 如何实现“Spark核心设计”
### 1. 整体流程
下面是实现“Spark核心设计”的整体流程：
```mermaid
erDiagram
开发者 --> 小白: 教学
```
```mermaid
flowchart TD
A(了解需求) --> B(分析需求)
B --> C(搭建Spark环境)
C --> D(编写Spark代码)
原创
2024-05-15 05:18:38
33阅读
[TOC]Spark RDD非常基本的说明，下面一张图就能够有基本的理解：Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset，弹性分布式数据集)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区
转载
2024-10-18 08:12:34
31阅读
## Spark核心模块实现流程
为了帮助你理解如何实现Spark核心模块，我将按照以下步骤进行说明：
步骤 | 操作内容
----|---------
1 | 创建一个Spark应用程序
2 | 构建SparkSession
3 | 加载数据
4 | 对数据进行转换和操作
5 | 执行计算
6 | 处理计算结果
下面我将详细解释每一步的操作和对应的代码。
### 1. 创建一个Spark
原创
2023-10-19 14:35:45
38阅读
# Spark核心组成及其功能概述
Apache Spark是一种以高速为特点的分布式计算框架，广泛应用于大数据处理、机器学习、图形计算和流处理等领域。了解Spark的核心组成部分，对于深入学习和使用Spark是非常有帮助的。
## Spark的核心组成
Spark主要由以下几个核心组成部分构成：
1. **Spark Core**：这是Spark的基础，负责内存管理、任务调度、异常处理等
MLib：机器学习GraphX：图计算wordcount
原创
2022-01-18 14:47:57
29阅读
MLib：机器学习GraphX：图计算wordcount
原创
2021-09-22 10:10:46
159阅读
Spark2.0笔记spark核心编程，spark基本工作原理与RDD1. Spark基本工作原理2. RDD以及其特点3. 什么是Spark开发1.Spark基本工作原理 2. RDD以及其特点 3. 什么是Spark开发spark核心编程：第一：定义初始的RDD，要定义的第一个RDD是从哪里读取数据，hdfs，linux本地文件，程序中的集合。 第二：定义对RDD的计算操作，这个在Spark称
转载
2023-08-29 14:18:14
51阅读
GraphX是Spark框架上的图计算组件，通过对Spark中RDD进行继承与扩展，引入了弹性分布式属性图，并针对该图提供了丰富的API。GraphX基于Spark中RDD、DAG、高容错性等概念和特性，实现了图计算的高效性与健壮性。Graphx是一种基于内存的分布式的图计算库与图计算框架，用户不仅可以直接使用Graphx提供的经典计算算法库，还可以针对不同的业务需求开发相应的Graphx应用程序
转载
2023-11-23 13:09:56
0阅读
Spark 是一个分布式数据处理引擎，其各种组件在一个集群上协同工作，下面是各个组件之间的关系图。Spark驱动器作为 Spark 应用中负责初始化 SparkSession 的部分，Spark 驱动器扮演着多个角色：它与集群管理器打交道；它向集群管理器申请 Spark 执行器（JVM）所需要的资源（C
转载
2023-10-26 21:19:32
61阅读
相对于第一代的大数据生态系统Hadoop中的MapReduce，Spark 无论是在性能还是在方案的统一性方面，都有着极大的优势。Spark框架包含了多个紧密集成的组件，如图4所示。位于底层的是Spark Core，其实现了Spark的作业调度、内存管理、容错、与存储系统交互等基本功能，并针对弹性分布式数据集提供了丰富的操作。在Spark Core的基础上，Spark提供了一系列面向不同应用需求的
转载
2023-08-17 10:56:48
33阅读
Spark 核心概念简介
原创
2015-12-05 14:41:29
555阅读
