本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理
原创
2022-03-23 10:24:56
832阅读
# Spark的核心编程
## 简介
Apache Spark是一个快速通用的集群计算系统，它提供了高效的数据处理和分析能力。Spark的核心编程模型是基于弹性分布式数据集（Resilient Distributed Dataset，简称RDD）的，这是一种可以在集群上并行计算的数据结构。本文将介绍Spark的核心编程概念和示例代码，帮助读者了解如何使用Spark进行大规模数据处理。
##
原创
2023-08-17 11:36:35
50阅读
文章目录一、RDD二、累加器三、广播变量Spark 计算框架为了能
原创
2022-08-12 10:39:50
139阅读
文章目录1、实现原理2、基础案例1、实现原理广播变量用来高
原创
2022-08-12 10:36:34
45阅读
文章目录1、实现原理2、案例检测3、自定义累加器 --- wordC
原创
2022-08-12 10:37:19
222阅读
文章目录1. RDD2. 与MapReduce对比3. Spark的各大组件4. Spark执行流程5. 执行过程中的一些细节6. Spark的部署模式和作业提交部署模式Spark的作业提交7. 宽窄依赖DAGScheduler的stage划分算法7. Shuffle(1)Shuffle Write详解(2)Shuffle Read详解(3)reduceByKey和groupByKey的区别？(
转载
2023-11-19 19:18:27
56阅读
原标题：Spark核心技术原理透视一(Spark运行原理)在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Mac
转载
2023-08-10 17:05:03
38阅读
一、Spark的两种核心Shuffle Shuffle涉及磁盘的读写和网络的IO，因此shuffle性能的高低直接影响整个程序的性能。Spark也有map阶段和reduce阶段，因此也有Shuffle。 1）基于hash的shuffle 在每个Map阶段的task会为每个reduce阶段的task生成一个文件，通常会产生大量的文件（m * r）伴随着大量的随机磁盘IO与大量内存的开销。
转载
2023-08-12 21:20:04
104阅读
特点大规模快速通用的计算引擎（hadoop 花费90%时间用户rw）DAG：有向无环图使用80+算子（操作符），容易构建并行应用基于Hadoop的mr，扩展mr模型高效实用，内存型集群计算，提高app处理速度。支持语言多spark模块core //通用执行引擎，提供内存计算和对外部数据集的引用。
SQL //构建在core之上，引入新的抽象SchemaRDD，提供了结构化和半结构化支
转载
2023-08-29 14:18:10
66阅读
1. Spark是什么?Spark是一个并行数据处理框架。它允许开发快速、统一的大数据应用程序，将批处理、流处理和交互分析结合起来。 2. RDD是什么?Spark的主要核心抽象称为弹性分布式数据集。RDD是满足这些属性的分区数据的集合。不可变、分布式、延迟计算、可捕获是常见的RDD属性。 3. Immutable 是什么?一旦创建并赋值，就不可能更改，这个属性称为
转载
2024-03-03 22:30:13
22阅读
Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Operations on D
RDD编程在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
转载
2023-09-28 00:58:46
139阅读
一、简介RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的
转载
2023-08-18 22:47:18
87阅读
核心编程核心编程核心编程06:15P8401 程序的内存模型-内存四区-代码区.08:56P8502 程`
原创
2021-08-08 10:18:09
189阅读
## Spark核心模块实现流程
为了帮助你理解如何实现Spark核心模块，我将按照以下步骤进行说明：
步骤 | 操作内容
----|---------
1 | 创建一个Spark应用程序
2 | 构建SparkSession
3 | 加载数据
4 | 对数据进行转换和操作
5 | 执行计算
6 | 处理计算结果
下面我将详细解释每一步的操作和对应的代码。
### 1. 创建一个Spark
原创
2023-10-19 14:35:45
38阅读
# Spark核心组成及其功能概述
Apache Spark是一种以高速为特点的分布式计算框架，广泛应用于大数据处理、机器学习、图形计算和流处理等领域。了解Spark的核心组成部分，对于深入学习和使用Spark是非常有帮助的。
## Spark的核心组成
Spark主要由以下几个核心组成部分构成：
1. **Spark Core**：这是Spark的基础，负责内存管理、任务调度、异常处理等
MLib：机器学习GraphX：图计算wordcount
原创
2022-01-18 14:47:57
29阅读
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
原创
2022-11-28 15:42:03
95阅读
1.RDD概念：RDD(Resilient Distributed Dateset)，弹性分布式数据集。RDD 的五大特性：1 .RDD 是由一系列的 partition 组
原创
2022-07-01 17:31:26
63阅读
## 如何实现“Spark核心设计”
### 1. 整体流程
下面是实现“Spark核心设计”的整体流程：
```mermaid
erDiagram
开发者 --> 小白: 教学
```
```mermaid
flowchart TD
A(了解需求) --> B(分析需求)
B --> C(搭建Spark环境)
C --> D(编写Spark代码)
原创
2024-05-15 05:18:38
33阅读
