**RDD** RDD叫做弹性分布式数据集。是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的几个。 RDD具有数据流模型的特点，自动容错、位置感知性调度和可伸缩性。RDD是一个应用层面的逻辑概念。一个RDD多个分片。RDD就是一个元数据记录集，记录了RDD内存所有的关系数据。基于RDD之间的依赖，RDD会形成一个有向无环图DAG，该DAG描述了整个流式计算的流程，实
转载
2024-05-24 21:22:39
24阅读
RDD简介RDD包含5个特征：1. 一个分区的列表2. 一个计算函数compute，对每个分区进行计算3. 对其他RDDs的依赖（宽依赖、窄依赖）列表4. 对key-value RDDs来说，存在一个分区器（Partitioner）【可选的】5. 对每个分区有一个优先位置的列表【可选的】RDD特点分区RDD逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个 compute 函数得到每
转载
2023-07-28 21:14:17
187阅读
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockMan
转载
2024-01-13 22:16:52
196阅读
创建RDD 有两种方式 1 通过hdfs支持的文件系统创建 RDD, RDD里面没有真正要计算的数据，只记录了一下元数据 2 从过scala集合或者数组以并行化的方式创建RDD collect 把结果收集起来放到 scala数组里面 reduce 汇聚 方法传进去 count rdd有多少元素 to
转载
2017-09-16 16:59:00
108阅读
2评论
连接将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是pairRDD最常用的操作之一。连接方式多种多样：右外连接、左外连接、交叉连接以及内连接。普通的join操作符表示内连接。只有在两个pairRDD中都存在的键才叫输出。当一个输入对应的某个键有多个值时，生成的pairRDD会包括来自两个输入RDD的每一组相对应的记录。有时，我们不希望结果汇总的键必须在两个
转载
2023-09-21 10:07:35
359阅读
Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。RDD负责数据的处理以及数据的分区，分发给不同的
转载
2024-06-23 14:53:04
51阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
Spark中最核心的概念为RDD（Resilient Distributed DataSets）中文为：弹性分布式数据集，RDD为对分布式内存对象的 抽象它表示一个被分区不可变且能并行操作的数据集；RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中，下次操作直接把内存中RDD作为输入，避免了Hadoop MapReduce的大IO操作；RDD生成 Spark所要处理的任何数据都
转载
2023-10-18 13:50:42
69阅读
一、RDD概念1.概念Resilient Distributed Datasets弹性分布式数据集，默认情况下：每一个block对应一个分区，一个分区会开启一个task来处理。（a）Resilient：可以存在给定不同数目的分区、数据缓存的时候可以缓存一部分数据也可以缓存全部数据 （b）Distributed：分区可以分布到不同的executor执行(也就是不同的worker/NM上执行) （c）
转载
2024-04-10 21:09:54
19阅读
Spark–RDD属性和特点 文章目录Spark--RDD属性和特点1.1 什么是RDD1.2 RDD的属性1.3 RDD特点1.3.1 分区1.3.2 只读1.3.3 依赖1.3.4 缓存1.3.5 CheckPoint1.4 RDD相关概念关系 1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个
转载
2024-04-08 22:56:32
48阅读
什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD包含5个特征： 1、一个分区的列表
转载
2024-04-29 17:01:25
35阅读
Spark的三大数据结构-RDD并行度与分区默认情况下，Spark 可以将一个作业切分多个任务后，发送给 Executor 节点并行计算，而能够并行计算的任务数量我们称之为并行度。这个数量可以在构建 RDD 时指定。// TODO 准备环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val
转载
2023-09-25 13:57:01
178阅读
SparkRDD简介/常用算子/依赖/缓存RDD简介RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是一个类RDD的属性1.一个列表，存储存取每个Partition的优先位置（preferred location）。对于一个HDFS文件来说，这个列表保存的就是每个Par
转载
2023-09-06 13:28:19
52阅读
1. Spark SQL概述1.1 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrames与DataSet的关系。1.2 为什么要学习Spark SQLHive，它是将Hive SQL转换成MapReduce，然后提交到集群上执行
转载
2023-08-08 21:13:40
165阅读
RDDRDD弹性分布式数据集，spark最基本的数据抽象，代表一个不可变，可分区，里面元素可并行计算的集合。
具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。
RDD允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续的查询能重用工作集，这极大提高查询速度
特点：一系列的分区，每一个函数作用于每个分区，RDD之间是一系列依赖，如果是k-v类型的RDD，会有一个分区器，分区器就是决定
转载
2024-07-08 10:50:06
14阅读
Spark的核心思想是RDD，以及对RDD的操作（transformation/action）。本篇简单介绍这些基本概念，以有利于理解Spark的原理。 (一) RDD(resilient distributed dataset)RDD的基本概念 RDD是AMPLAB提出的一种概念，类似与分布式内存，但又不完全一致（关于RDD与分布式内存的区别可参考paper）。 RDD在Spark
转载
2024-06-04 08:10:32
61阅读
Spark-RDD操作什么是RDD怎么理解RDD创建RDD的3种方式读取数据并产生RDD读取普通文本数据读取json格式的数据读取CSV，TSV格式的数据读取sequenceFile格式的数据读取object格式的数据读取HDFS中的数据读取MySQL数据库中的数据保存RDD的数据到外部存储保存成普通文件保存成json文件保存成CSV，TSV格式文件保存成sequenceFIle文件保存成Obj
转载
2024-06-29 08:21:48
41阅读
1.什么是RDD？RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，RDD是一个只读的有属性的数据集。属性用来描述当前数据集的状态，数据集是由数据的分区（partition）组成，并（由block）映射成真实数据。RDD属性包括名称、分区类型、父RDD指针、数据本地化、数据依赖关系等。RDD是理解Apache Spark 工作原理
转载
2024-02-02 10:18:39
35阅读
RDD(Resilent Distributed Datasets)俗称弹性分布式数据集,是 Spark 底层的分布式存储的数据结构,可以说是 Spark 的核心, Spark API 的所有操作都是基于 RDD 的. 数据不只存储在一台机器上,而是分布在多台机器上,实现数据计算的并行化.弹性表明数据丢失时,可以进行重建.在Spark 1.5版以后,新增了数据结构 Spark-DataFrame,
转载
2024-02-27 17:42:46
21阅读
目录一、对比MapReduce与Spark的主要区别二、Spark技术栈三、架构设计1、运行架构2、Spark架构核心组件及其作用3、提交流程四、核心API五、RDD是什么，有哪些特点六、RDD的特性七、RDD常用的创建方式八、RDD常用的算子：转换、动作九、基于RDD的应用程序开发十、shuffle机制十一、累加器（可自定义） 一、对比MapReduce与Spark的主要区别易用性：Spark
转载
2024-05-15 13:50:26
30阅读
