RDDRDD弹性分布式数据集，spark最基本的数据抽象，代表一个不可变，可分区，里面元素可并行计算的集合。
具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。
RDD允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续的查询能重用工作集，这极大提高查询速度
特点：一系列的分区，每一个函数作用于每个分区，RDD之间是一系列依赖，如果是k-v类型的RDD，会有一个分区器，分区器就是决定
转载
2024-07-08 10:50:06
14阅读
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看出生级别RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同的是，他们的执行效率和执行方
转载
2023-12-17 10:27:27
62阅读
先提出几个问题1.你觉得拿到一个分析数据任务要干什么？2.你觉得什么是最恐怖的？首先，拿到任务第一步肯定不是直接读题，而是看数据，看结构，知道是什么样的数据才知道要怎么处理。其次，代码报错不可怕，不报错更不可怕，是不报错，还和你想要的结果不是一个东西才可怕。一、题目一{“id”:“572692378957430785”,“user”:“Srkian_nishu “,“text”:”@always_
转载
2023-08-10 11:11:22
72阅读
spark2--rdd1. RDD概念1.1 RDD定义1.2 RDD 五大特性第一个：A list of partitions 第二个：A function for computing each split第三个：A list of dependencies on other RDDs第四个：Optionally, a Partitioner for key-value RDDs (e.g.
什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD的5特属性获取分区列表(getPa
转载
2023-12-24 14:16:42
45阅读
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是
转载
2023-12-14 21:47:24
39阅读
**RDD** RDD叫做弹性分布式数据集。是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的几个。 RDD具有数据流模型的特点，自动容错、位置感知性调度和可伸缩性。RDD是一个应用层面的逻辑概念。一个RDD多个分片。RDD就是一个元数据记录集，记录了RDD内存所有的关系数据。基于RDD之间的依赖，RDD会形成一个有向无环图DAG，该DAG描述了整个流式计算的流程，实
转载
2024-05-24 21:22:39
24阅读
文章目录1、什么是RDD2、RDD的五大特性3、WordCount粗图解RDD4、RDD的操作算子Transformations类算子Action类算子控制类算子5、RDD的宽依赖和窄依赖 1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流
转载
2023-07-25 13:26:16
185阅读
RDD( Resilient Distributed Dataset，弹性分布式数据集)，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可以直接从内存中读取，从而可以极大地提高计算速度。每个RDD都具有五大特征，具体如下。1.分区列表( a
转载
2024-01-26 06:51:34
89阅读
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockMan
转载
2024-01-13 22:16:52
196阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
Spark中最核心的概念为RDD（Resilient Distributed DataSets）中文为：弹性分布式数据集，RDD为对分布式内存对象的 抽象它表示一个被分区不可变且能并行操作的数据集；RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中，下次操作直接把内存中RDD作为输入，避免了Hadoop MapReduce的大IO操作；RDD生成 Spark所要处理的任何数据都
转载
2023-10-18 13:50:42
69阅读
Spark–RDD属性和特点 文章目录Spark--RDD属性和特点1.1 什么是RDD1.2 RDD的属性1.3 RDD特点1.3.1 分区1.3.2 只读1.3.3 依赖1.3.4 缓存1.3.5 CheckPoint1.4 RDD相关概念关系 1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个
转载
2024-04-08 22:56:32
48阅读
什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD包含5个特征： 1、一个分区的列表
转载
2024-04-29 17:01:25
35阅读
Spark-RDD操作什么是RDD怎么理解RDD创建RDD的3种方式读取数据并产生RDD读取普通文本数据读取json格式的数据读取CSV，TSV格式的数据读取sequenceFile格式的数据读取object格式的数据读取HDFS中的数据读取MySQL数据库中的数据保存RDD的数据到外部存储保存成普通文件保存成json文件保存成CSV，TSV格式文件保存成sequenceFIle文件保存成Obj
转载
2024-06-29 08:21:48
41阅读
1.什么是RDD？RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，RDD是一个只读的有属性的数据集。属性用来描述当前数据集的状态，数据集是由数据的分区（partition）组成，并（由block）映射成真实数据。RDD属性包括名称、分区类型、父RDD指针、数据本地化、数据依赖关系等。RDD是理解Apache Spark 工作原理
转载
2024-02-02 10:18:39
35阅读
SparkRDD简介/常用算子/依赖/缓存RDD简介RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是一个类RDD的属性1.一个列表，存储存取每个Partition的优先位置（preferred location）。对于一个HDFS文件来说，这个列表保存的就是每个Par
转载
2023-09-06 13:28:19
52阅读
Spark的核心思想是RDD，以及对RDD的操作（transformation/action）。本篇简单介绍这些基本概念，以有利于理解Spark的原理。 (一) RDD(resilient distributed dataset)RDD的基本概念 RDD是AMPLAB提出的一种概念，类似与分布式内存，但又不完全一致（关于RDD与分布式内存的区别可参考paper）。 RDD在Spark
转载
2024-06-04 08:10:32
61阅读
1. Spark SQL概述1.1 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrames与DataSet的关系。1.2 为什么要学习Spark SQLHive，它是将Hive SQL转换成MapReduce，然后提交到集群上执行
转载
2023-08-08 21:13:40
165阅读
文章目录一、RDD血缘关系二、RDD 依赖关系1.窄依赖2.宽依赖3.RDD的阶段划分4.RDD任务划分三、RDD持久化1.RDD Cache 缓存2.RDD CheckPoint 检查点四、RDD 分区器五、RDD 文件读取与保存 一、RDD血缘关系RDD不会保存数据；RDD为了提供容错性，会将RDD间的关系保存下来 一旦出现错误，可以根据血缘关系从新计算二、RDD 依赖关系1.窄依赖上游RD
转载
2023-09-03 15:50:32
66阅读
