RDDRDD弹性分布式数据集，spark最基本的数据抽象，代表一个不可变，可分区，里面元素可并行计算的集合。
具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。
RDD允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续的查询能重用工作集，这极大提高查询速度
特点：一系列的分区，每一个函数作用于每个分区，RDD之间是一系列依赖，如果是k-v类型的RDD，会有一个分区器，分区器就是决定
转载
2024-07-08 10:50:06
14阅读
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看出生级别RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同的是，他们的执行效率和执行方
转载
2023-12-17 10:27:27
62阅读
先提出几个问题1.你觉得拿到一个分析数据任务要干什么？2.你觉得什么是最恐怖的？首先，拿到任务第一步肯定不是直接读题，而是看数据，看结构，知道是什么样的数据才知道要怎么处理。其次，代码报错不可怕，不报错更不可怕，是不报错，还和你想要的结果不是一个东西才可怕。一、题目一{“id”:“572692378957430785”,“user”:“Srkian_nishu “,“text”:”@always_
转载
2023-08-10 11:11:22
72阅读
什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD的5特属性获取分区列表(getPa
转载
2023-12-24 14:16:42
45阅读
spark2--rdd1. RDD概念1.1 RDD定义1.2 RDD 五大特性第一个：A list of partitions 第二个：A function for computing each split第三个：A list of dependencies on other RDDs第四个：Optionally, a Partitioner for key-value RDDs (e.g.
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是
转载
2023-12-14 21:47:24
39阅读
**RDD** RDD叫做弹性分布式数据集。是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的几个。 RDD具有数据流模型的特点，自动容错、位置感知性调度和可伸缩性。RDD是一个应用层面的逻辑概念。一个RDD多个分片。RDD就是一个元数据记录集，记录了RDD内存所有的关系数据。基于RDD之间的依赖，RDD会形成一个有向无环图DAG，该DAG描述了整个流式计算的流程，实
转载
2024-05-24 21:22:39
24阅读
文章目录1、什么是RDD2、RDD的五大特性3、WordCount粗图解RDD4、RDD的操作算子Transformations类算子Action类算子控制类算子5、RDD的宽依赖和窄依赖 1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流
转载
2023-07-25 13:26:16
185阅读
RDD( Resilient Distributed Dataset，弹性分布式数据集)，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可以直接从内存中读取，从而可以极大地提高计算速度。每个RDD都具有五大特征，具体如下。1.分区列表( a
转载
2024-01-26 06:51:34
89阅读
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockMan
转载
2024-01-13 22:16:52
196阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。基于某个关键字，该数据集被划分成多块，同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况...
原创
2021-08-04 13:56:33
192阅读
RDD是“Resilient Distributed Dataset”的缩写，从全称就可以了解到RDD的一些典型特性。Resilient（弹性）：RDD之间会形成有向无，数据库等。
原创
2024-04-30 14:59:51
316阅读
一、学习Spark RDD RDD是Spark中的核心数据模型，一个RDD代表着一个被分区(partition)的只读数据集。 RDD的生成只有两种途径： 一种是来自于内存集合或外部存储系统； 另一种是通过转换操作来自于其他RDD； 一般需要了解RDD的以下五个接口： partition 分区，一个RDD会有一个或者多个分区 dependencies() RDD的依赖关系 preferredLo
转载
2023-07-28 21:14:58
149阅读
1. Tranformation
val lines=sc.textFile(file:///usr/local/spark/mycode/rdd/word.txt)
### #1. map map(func) 将每个元素传递给函数 func 中，并将返回结果返回为一个新的数据集
scala> val data=Array(1,2,3,4,5)
scala> val rd
转载
2023-11-09 16:22:41
60阅读
spark RDD目录spark RDD关于sparkRDD基本概念学习对于RDD的基本操作主从节点的启动spark的初始化RDD创建调用parallelize()方法并行化生成RDD使用外部存储中的数据集生成RDD注意事项正式的、RDD的基础操作WordCount的例子RDD转化操作transformationRDD行动操作actions总结基本编程步骤总结没有做的实践操作导入并使用jar包集成
转载
2023-12-11 10:33:02
57阅读
