一、RDD 的起源在 RDD 出现之前, 当时 MapReduce 是比较主流的, 而 MapReduce 如何执行流程如下： 多个 MapReduce 任务之间只能通过磁盘来进行传递数据，很明显的效率低下，再来看 RDD 的处理方式： 整个过程是共享内存的, 而不需要将中间结果存放在分布式文件系统中，这种方式可以在保证容错的前提下, 提供更多的灵活, 更快的执行速度。二、RDD 的特点RDD 不
转载
2024-10-25 15:54:14
31阅读
2.RDD 编 程
2.1 编程模型 在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。经过一系列的 transformations 定义 RDD 之后，就可以调用 actions 触发 RDD 的计算，action 可以是向应用程序返回结果(count, collect 等)，或者是向存储系统保存数据(saveAsTextFile等)
转载
2023-12-11 09:59:17
34阅读
spark的rdd算子文章目录spark的rdyBykeys valuescollectAsMaprepartition, coalesce, partit...
原创
2022-11-18 15:57:26
75阅读
1.RDD是一个基本的抽象，操作RDD就像操作一个本地集合一样，降低了编程的复杂度RDD的算子分为两类，一类是Transformation（lazy），一类是Action（触发任务执行）RDD不存真正要计算的数据，而是记录了RDD的转换关系（调用了什么方法，传入什么函数）创建RDD有哪些中方
转载
2023-07-31 23:13:39
0阅读
RDD算子 深入RDD 需求 给定一个网站的访问记录
原创
2022-09-23 18:08:39
113阅读
目录基本概念算子介绍1. reduce2. collect3. count4. first5. take6. takeOrdered案例实操1-67. aggregate8. fold案例实操7-89. countByKey案例实操10. save相关算子案例实操11. foreach案例实操 基本概念行动算子主要是将在数据集上运行计算后的数值返回到驱动程序，从而触发触发作业（Job）的执行。其
转载
2023-10-26 13:39:19
64阅读
1. collect算子作用收集一个弹性分布式数据集（RDD）的所有元素到一个数组中，以便观察。collect是Action类型的一个算子，会从远程集群拉去数据到driver端，最后将大量数据汇集到一个driver节点上，将数据用数组存放，占用了jvm堆内存，非常容易造成内存溢出，只用作小型数据的观察2. 弊端首先，由于collect是从各节点将数据拉到driver端，需要重新分区，所以，一次co
转载
2023-09-22 11:40:47
177阅读
RDD的行动算子reducecollectcountfirsttaketakeOrderedaggregatefoldcountByKeysave 相关算子foreach所谓的行动算子就是触发作业执行的方法reduce➢ 函数签名：def reduce(f: (T, T) => T): T➢ 函数说明：聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据 @Test def reduce(): Unit = { val rdd = sc.makeRDD(List(1.
原创
2022-03-23 10:26:10
160阅读
RDD方法又称RDD算子。算子 ： Operator（操作） RDD的方法和Scala集合对象的方法不一样，集合对象的方法都是在同一个节点的内存中完成的。RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行，为了区分不同的处理效果，所以将RDD的方法称之为算子。RDD的方法外部的操作都是在Driver端执行的，而方法内部的逻辑代码是在Executor端执行。RDD的常用方法分为两大
本编主要基于B站尚硅谷的视频及文档做出的一些改写和
原创
2022-03-23 10:25:43
291阅读
@目录1、什么是RDD1.1、RDD五大核心属性2、RDD转换算子2.1、单value2.2、双value2.3、Key-Value3、RDD行为算子1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。弹性
存储的弹性：内存
转载
2023-06-24 22:09:57
244阅读
### 实现“Spark on YARN RDD算子统计广告”
在大数据处理领域，Apache Spark 是一种强大的分布式计算框架。本文将指导你如何在 YARN 集群上使用 RDD 统计广告数据。我们将逐步进行，确保你理解每个步骤的具体内容。
#### 处理流程概述
| 步骤编号 | 步骤描述 | 具体操作
# Spark RDD算子常用操作详解
Apache Spark 是一个强大的分布式计算框架，其核心可以通过弹性分布式数据集（RDD）来实现大规模数据的并行处理。对于入门者来说，理解 RDD 及其常用算子是学习 Spark 的第一步。在这篇文章中，我将指导你了解如何使用 Spark RDD 进行常用操作。
## 流程概述
以下是使用 Spark RDD 进行常用操作的步骤：
| 序号 |
原创
2024-10-20 07:30:15
196阅读
spark2--rdd1. RDD概念1.1 RDD定义1.2 RDD 五大特性第一个：A list of partitions 第二个：A function for computing each split第三个：A list of dependencies on other RDDs第四个：Optionally, a Partitioner for key-value RDDs (e.g.
Spark算子概述RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。RDD有两种操作算子：Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作Action（执行）：触发Spark作业的运行，真正触发转换算子的计算需
一、aggregateByKey [Pair] 像聚合函数一样工作，但聚合应用于具有相同键的值。 也不像聚
原创
2022-11-03 17:11:55
139阅读
Spark-core RDD算子使用练习根据以下数据集统计出每个月中国城
原创
2022-08-12 10:16:37
111阅读
Spark操作算子本质-RDD的容错spark模式1.standalone master 资源调度 worker2.yarn resourcemanager 资源调度 nodemanager在一个集群中只能有一个资源调度，如果有两个资源调度的话，master和resourcemanager之间是不通
原创
2022-06-10 20:04:09
112阅读
https://blog.csdn.net/qq_41595282/article/details/94596015
原创
2021-07-22 13:50:55
361阅读
点赞
Spark学习笔记1——Spark介绍，RDD算子Transformation和Action入门
Spark学习笔记总结01. Spark基础1. 介绍Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。
Spark是MapReduce的替代
转载
2023-06-19 13:47:33
116阅读
