RDD（Resilient Distributed Datasets）是Spark中最基本的数据结构，它是一个不可变的分布式数据集合，可以在集群中进行并行处理。RDD可以从Hadoop的HDFS文件系统中读取数据，也可以从其他数据源中读取数据，如本地文件系统、Hive、Cassandra等。RDD的特点：分布式：RDD可以在集群中分布式存储和处理数据，可以在多个节点上并行处理数据。不可变性：RDD
转载
2023-08-01 16:08:05
287阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
Spark–RDD属性和特点 文章目录Spark--RDD属性和特点1.1 什么是RDD1.2 RDD的属性1.3 RDD特点1.3.1 分区1.3.2 只读1.3.3 依赖1.3.4 缓存1.3.5 CheckPoint1.4 RDD相关概念关系 1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个
转载
2024-04-08 22:56:32
48阅读
RDD的五大特征了解RDD1、分区列表2、每个分区都有一个计算函数3、依赖于其他RDD4、(Key,Value)数据类型的RDD分区器5、每个分区都有一个优先位置列表 了解RDD传统的MapReduce虽然具有自动容错、平衡负载和可拓展性强的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算时要进行大量的磁盘I/O操作。Spark中的RDD可以分号地解决这一缺点。RDD是Spark提
转载
2024-04-08 11:54:36
193阅读
对于学习大数据开发的人而言，关于spark的认知、理解、应用就显得尤为重要，而在spark之中一个相当重要的点就是rdd，那么rdd究竟有哪些优点和特性，决定了其在spark中的地位呢？
首先，我们来了解什么rdd它是Spark处理流程中的主要对象。RDD（resilient distributed dataset, RDD），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数
转载
2024-01-15 22:30:51
29阅读
目录一、RDD概念二、RDD做了什么三、RDD一、RDD概念 RDD（
Resilient Distributed Dataset
）叫做弹性分布式数据集，是
Spark
中最基本的数据抽象，它代表⼀个
不可变、可分区、⾥⾯的元素可
并⾏计算
的集合。
RDD
具有数
转载
2024-01-12 09:46:47
69阅读
Spark RDD 概述 特性
原创
2022-12-28 15:29:28
119阅读
1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供
原创
2019-09-21 22:15:02
2237阅读
# Spark RDD特性详解
## 引言
Apache Spark是一个快速、通用的大数据处理框架，它提供了一套强大的分布式数据处理的API，其中最重要的概念之一就是弹性分布式数据集（Resilient Distributed Datasets，简称RDD）。RDD是Spark中最基本的数据抽象，它是一个可分区、可并行计算的数据集合。
本文将重点介绍Spark RDD的特性，并通过代码示例
原创
2023-10-19 14:40:30
64阅读
看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。1.窄依赖窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD分区，如下图所示【其中每个小方块代表一个RDD Partition】
窄依赖有分为两种：一种是一对一的依赖，即OneToOneDependency还有一个是范围的依赖，即RangeDepend
转载
2023-08-08 20:29:44
70阅读
1.spark是什么快速、通用、可扩展的分布式计算引擎。2. 弹性分布式数据集RDDRDD(Resilient Distributed Dataset),是Spark中最基本的数据抽象结构，表示一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提
转载
2023-07-18 22:58:48
51阅读
Spark基本概念RDD：弹性分布式数据集 (Resilient Distributed DataSet)。Spark 是数据不动，代码动的架构！！！！RDD 的基本概念RRD全称叫做弹性分布式数据集（Resilient Distributed Dataset），从它的名字中可以拆解出三个概念。Resilient ：弹性的，包括存储和计算两个方面。RDD 中的数据可以保存在内存中，也可以保存在磁盘
转载
2024-01-11 13:34:53
42阅读
Spark内核RDDResilientDistributedDataset （弹性分布式数据集 ）五大特性:
A list of partitions
A function for computing each split
A list of dependencies on other RDDs
Optionally, a Partitioner for key-value RDDs
Option
转载
2023-07-18 22:59:04
120阅读
1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2.RDD的属性 1）一组分片（Pa
转载
2024-01-12 00:18:54
37阅读
RDD为什么是Spark的核心概念通过一个wordCount例子来看一看RDDRDD的管理与操作（算子）常见的RDD操作有哪些（包括RDD的分类）RDD的依赖关系（DAG）RDD依赖关系的划分（stage）RDD为什么是Spark的核心概念 Spark建立在统一抽象的RDD之上，使得Spark可以很容易扩展，比如 Spark Streaming、Spark SQL、Machine Learnin
转载
2024-01-15 22:04:22
61阅读
文章目录1、什么是RDD2、RDD的五大特性3、WordCount粗图解RDD4、RDD的操作算子Transformations类算子Action类算子控制类算子5、RDD的宽依赖和窄依赖 1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流
转载
2023-07-25 13:26:16
185阅读
一、基石RDD（ resilient distributed dataset） spark的核心就是RDD（弹性分布式数据集），一种通用的数据抽象。封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相对比其他大数据处理框架，如MapReduce,Pege1,DryadLINQ和HIVE等均缺乏此特性，所以RDD更为通用。 简单的来概括RDD：RDD是一个不
转载
2024-01-26 06:59:30
22阅读
本篇文章主要讲解Spark 的编程模型以及作业执行调度流程。对于spark 来说，其核心是RDD（Resilient Distributed Dataset,弹性分布式数据集），它是一种特殊的集合，支持多种来源，有容错机制，可以被缓存支持并行操作。下面来看看RDD这一抽象数据集的核心。Spark编程模型RDD的特征 RDD总共有五个特征，三个基本特征，两个可选特征。 （1）分区（partiti
转载
2023-10-24 01:03:47
58阅读
RDD( Resilient Distributed Dataset，弹性分布式数据集)，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可以直接从内存中读取，从而可以极大地提高计算速度。每个RDD都具有五大特征，具体如下。1.分区列表( a
转载
2024-01-26 06:51:34
89阅读
RDD的特性二 ： RDD的缓存一、RDD缓存的意义首先让我们来看一个小案例查看数据
原创
2022-08-12 10:16:06
191阅读
