Spark的核心思想是RDD，以及对RDD的操作（transformation/action）。本篇简单介绍这些基本概念，以有利于理解Spark的原理。 (一) RDD(resilient distributed dataset)RDD的基本概念 RDD是AMPLAB提出的一种概念，类似与分布式内存，但又不完全一致（关于RDD与分布式内存的区别可参考paper）。 RDD在Spark
转载
2024-06-04 08:10:32
61阅读
与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等。这即Matei Zaharia所谓的“设计一个通用的编程抽象（Unified Programming Abstraction）。这正是Spark这朵小火花让人着迷的地方。
转载
2023-11-30 17:32:15
92阅读
1.Spark对数据对核心抽象RDD RDD：不可变对分布式对象集合，被分为多个分区，运行在不同节点上 创建方式：读取外部数据集；driver程序中分发driver程序的对象集合（如list和set）2.RDD支持的操作：转化操作和行动操作 转化操作：将一个RDD转化成新的RDD 行动操作：对RDD计算出一个结果，并返回到driver程序，或存储到外部存储系统（如hdfs等） 区别：转化操作惰性计
转载
2023-08-08 01:27:55
71阅读
RDD中的所有转换都是惰性的，只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。默认情况下，每一个转换过的RDD都会在它执行一个动作是被重新计算。可以使用persist（或者cache）方法，在内存中持久化一个RDD，在这种情况下，Spark将会在集群中保存相关元素，下次查询这个RDD时能更快访问它，也支持在磁盘上持久化数据集，或在集群间复制数据集。RDD支持的转换操作：1、
转载
2023-10-10 07:46:09
69阅读
一、学习Spark RDD RDD是Spark中的核心数据模型，一个RDD代表着一个被分区(partition)的只读数据集。 RDD的生成只有两种途径： 一种是来自于内存集合或外部存储系统； 另一种是通过转换操作来自于其他RDD； 一般需要了解RDD的以下五个接口： partition 分区，一个RDD会有一个或者多个分区 dependencies() RDD的依赖关系 preferredLo
转载
2023-07-28 21:14:58
149阅读
在SparkCore中的一切计算都是基于RDD的，那RDD是个什么东西呢?RDD是Resilient Distribute Dataset(弹性分布式数据集)的缩写，说白了，RDD可以理解为spark处理数据的基本单位，但是RDD又不是真实的存有数据，它只是具有操作数据的能力，相当于一个租房中介，中介手上掌握了一手的房源信息，而sparkCore就相当于租房子的人，一般直接找到房子不简单，所以我们
转载
2023-12-09 12:28:21
31阅读
RDD是resilient distributed dataset的缩写即弹性分布式数据集 ，是Spark的核心也是基本所在 RDD是只读的、分区记录的集合，它只能基于在稳定物理存储中的数据和其他已有的RDD执行特定的操作来创建，它是逻辑集中的实体，在集群中的多台机器上进行了数据的分区，通过RDD的依赖关系形成Spark的调度顺序，形成整个Spark行分区RDD有以下几种创建方式：从hdfs文件
转载
2023-10-30 22:20:57
159阅读
RDD是什么 RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 为什么会产生RDD
传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁
转载
2023-12-13 01:51:26
37阅读
RDD（Resilient Distributed Datasets）是Spark中最基本的数据结构，它是一个不可变的分布式数据集合，可以在集群中进行并行处理。RDD可以从Hadoop的HDFS文件系统中读取数据，也可以从其他数据源中读取数据，如本地文件系统、Hive、Cassandra等。RDD的特点：分布式：RDD可以在集群中分布式存储和处理数据，可以在多个节点上并行处理数据。不可变性：RDD
转载
2023-08-01 16:08:05
287阅读
目录一、RDD概念二、RDD做了什么三、RDD一、RDD概念 RDD（
Resilient Distributed Dataset
）叫做弹性分布式数据集，是
Spark
中最基本的数据抽象，它代表⼀个
不可变、可分区、⾥⾯的元素可
并⾏计算
的集合。
RDD
具有数
转载
2024-01-12 09:46:47
69阅读
1、RDD基础弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 二.官网介绍：Internally, each RDD is characterized by f
转载
2024-06-06 11:59:56
39阅读
目录Spark-RDD介绍1.RDD定义2.RDD属性3.RDD特点3.1.弹性3.2.分区3.3.只读3.4.依赖3.5.缓存3.6.CheckPoint Spark-RDD介绍1.RDD定义RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。
转载
2024-07-08 16:27:32
27阅读
先提出几个问题1.你觉得拿到一个分析数据任务要干什么？2.你觉得什么是最恐怖的？首先，拿到任务第一步肯定不是直接读题，而是看数据，看结构，知道是什么样的数据才知道要怎么处理。其次，代码报错不可怕，不报错更不可怕，是不报错，还和你想要的结果不是一个东西才可怕。一、题目一{“id”:“572692378957430785”,“user”:“Srkian_nishu “,“text”:”@always_
转载
2023-08-10 11:11:22
72阅读
1. Spark中的RDDResilient Distributed Datasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2. RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能
转载
2023-11-24 23:11:12
50阅读
Spark 作为分布式的计算框架，最为影响其执行效率的地方就是频繁的网络传输。所以一般的，在不存在数据倾斜的情况下，想要提高 Spark job 的执行效率，就尽量减少 job 的 shuffle 过程(减少 job 的 stage),或者退而减小 shuffle 带来的影响，join 操作也不例外。所以，针对 spark RDD 的 join 操作的使用，提供一下几条建议：尽量减少参与 join
转载
2023-09-05 10:14:13
70阅读
看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。1.窄依赖窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD分区，如下图所示【其中每个小方块代表一个RDD Partition】
窄依赖有分为两种：一种是一对一的依赖，即OneToOneDependency还有一个是范围的依赖，即RangeDepend
转载
2023-08-08 20:29:44
70阅读
RDD, Resilient Distributed Dataset，弹性分布式数据集， 是Spark的核心概念。这篇文章用来记录一部分Spark对RDD实现的细节。首先翻译一下RDD这个虚类的注释 RDD是一个分布式弹性数据集， RDD是Spark的基本抽象，代表了一个不可变的、分区的、可以用于并行计算的数据集。这个类包括了所有RDD共有的基本操作，比如map,
filt
转载
2024-06-20 18:33:02
24阅读
1. Spark中的RDDResilient Distributed Datasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2. RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能
转载
2023-10-19 12:58:20
89阅读
1. RDD概述RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中，每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了
转载
2023-10-27 11:31:49
62阅读
RDD简介RDD包含5个特征：1. 一个分区的列表2. 一个计算函数compute，对每个分区进行计算3. 对其他RDDs的依赖（宽依赖、窄依赖）列表4. 对key-value RDDs来说，存在一个分区器（Partitioner）【可选的】5. 对每个分区有一个优先位置的列表【可选的】RDD特点分区RDD逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个 compute 函数得到每
转载
2023-07-28 21:14:17
187阅读
