RDD（Resilient Distributed Datasets）是Spark中最基本的数据结构，它是一个不可变的分布式数据集合，可以在集群中进行并行处理。RDD可以从Hadoop的HDFS文件系统中读取数据，也可以从其他数据源中读取数据，如本地文件系统、Hive、Cassandra等。RDD的特点：分布式：RDD可以在集群中分布式存储和处理数据，可以在多个节点上并行处理数据。不可变性：RDD
转载
2023-08-01 16:08:05
287阅读
RDD的特性二 ： RDD的缓存一、RDD缓存的意义首先让我们来看一个小案例查看数据
原创
2022-08-12 10:16:06
191阅读
RDD的特性 ---- RDD的checkpoint一、Checkpoint的作用Checkpooint的主要作用是斩直接通过赋值HDFS中的文件实现容
原创
2022-08-12 10:15:47
116阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
Spark RDD 概述 特性
原创
2022-12-28 15:29:28
119阅读
1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供
原创
2019-09-21 22:15:02
2237阅读
# Spark RDD特性详解
## 引言
Apache Spark是一个快速、通用的大数据处理框架，它提供了一套强大的分布式数据处理的API，其中最重要的概念之一就是弹性分布式数据集（Resilient Distributed Datasets，简称RDD）。RDD是Spark中最基本的数据抽象，它是一个可分区、可并行计算的数据集合。
本文将重点介绍Spark RDD的特性，并通过代码示例
原创
2023-10-19 14:40:30
64阅读
1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2.RDD的属性 1）一组分片（Pa
转载
2024-01-12 00:18:54
37阅读
Spark–RDD属性和特点 文章目录Spark--RDD属性和特点1.1 什么是RDD1.2 RDD的属性1.3 RDD特点1.3.1 分区1.3.2 只读1.3.3 依赖1.3.4 缓存1.3.5 CheckPoint1.4 RDD相关概念关系 1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个
转载
2024-04-08 22:56:32
48阅读
Spark基本概念RDD：弹性分布式数据集 (Resilient Distributed DataSet)。Spark 是数据不动，代码动的架构！！！！RDD 的基本概念RRD全称叫做弹性分布式数据集（Resilient Distributed Dataset），从它的名字中可以拆解出三个概念。Resilient ：弹性的，包括存储和计算两个方面。RDD 中的数据可以保存在内存中，也可以保存在磁盘
转载
2024-01-11 13:34:53
42阅读
RDD的五大特征了解RDD1、分区列表2、每个分区都有一个计算函数3、依赖于其他RDD4、(Key,Value)数据类型的RDD分区器5、每个分区都有一个优先位置列表 了解RDD传统的MapReduce虽然具有自动容错、平衡负载和可拓展性强的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算时要进行大量的磁盘I/O操作。Spark中的RDD可以分号地解决这一缺点。RDD是Spark提
转载
2024-04-08 11:54:36
193阅读
Spark内核RDDResilientDistributedDataset （弹性分布式数据集 ）五大特性:
A list of partitions
A function for computing each split
A list of dependencies on other RDDs
Optionally, a Partitioner for key-value RDDs
Option
转载
2023-07-18 22:59:04
120阅读
看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。1.窄依赖窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD分区，如下图所示【其中每个小方块代表一个RDD Partition】
窄依赖有分为两种：一种是一对一的依赖，即OneToOneDependency还有一个是范围的依赖，即RangeDepend
转载
2023-08-08 20:29:44
70阅读
对于学习大数据开发的人而言，关于spark的认知、理解、应用就显得尤为重要，而在spark之中一个相当重要的点就是rdd，那么rdd究竟有哪些优点和特性，决定了其在spark中的地位呢？
首先，我们来了解什么rdd它是Spark处理流程中的主要对象。RDD（resilient distributed dataset, RDD），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数
转载
2024-01-15 22:30:51
29阅读
目录一、RDD概念二、RDD做了什么三、RDD一、RDD概念 RDD（
Resilient Distributed Dataset
）叫做弹性分布式数据集，是
Spark
中最基本的数据抽象，它代表⼀个
不可变、可分区、⾥⾯的元素可
并⾏计算
的集合。
RDD
具有数
转载
2024-01-12 09:46:47
69阅读
文章目录五大特性问题一: 哪里体现了RDD的分布式和容错问题二:哪里体现了弹性问题三: 什么是K,V格式的RDD问题四:为什么partition能提供一系列的最佳位置RDD : 弹性分布式数据集五大特性1.RDD是由一系列partition组成(block块对应partition),textFile底层调用的是MR读取hdfs上的数据的方法默认一个block块对应一个split,spli...
原创
2021-06-05 23:41:52
1145阅读
文章目录五大特性问题一: 哪里体现了RDD的分布式和容错问题二:哪里体现了弹性问题三: 什么是K,V格式的RDD问题四:为什么partition能提供一系列的最佳位置RDD : 弹性分布式数据集五大特性1.RDD是由一系列partition组成(block块对应partition)
原创
2022-02-22 18:32:15
1136阅读
一、基石RDD（ resilient distributed dataset） spark的核心就是RDD（弹性分布式数据集），一种通用的数据抽象。封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相对比其他大数据处理框架，如MapReduce,Pege1,DryadLINQ和HIVE等均缺乏此特性，所以RDD更为通用。 简单的来概括RDD：RDD是一个不
转载
2024-01-26 06:59:30
22阅读
1.spark是什么快速、通用、可扩展的分布式计算引擎。2. 弹性分布式数据集RDDRDD(Resilient Distributed Dataset),是Spark中最基本的数据抽象结构，表示一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提
转载
2023-07-18 22:58:48
51阅读
spark RDD
什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集RDD是Spark中的抽象数据结构类型,Spark中最基本的数据抽象,实现了以操作本地集合的方式来操作分布式数据集的抽象实现，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式
转载
2023-07-01 12:28:38
104阅读
