1.spark是什么快速、通用、可扩展的分布式计算引擎。2. 弹性分布式数据集RDDRDD(Resilient Distributed Dataset),是Spark中最基本的数据抽象结构，表示一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提
转载
2023-07-18 22:58:48
51阅读
常用SparkRDD容易混淆的算子区别1.map与flatMap的区别# 初始化数据
val rdd1 = sc.parallelize(Array("hello world","i love you"))map# map算子
rdd1.map(_.split(" ")).collect
# map算子结果输出
res0: Array[Array[String]] = Array(Array(h
转载
2023-09-28 12:39:08
312阅读
# Spark RDD 常见操作指南
在学习 Apache Spark 中的 RDD（弹性分布式数据集）操作时，以下是你需要掌握的一些基本概念和步骤。通过本指南，你将能够理解和实现常见的 RDD 操作。
## 流程概述
为了帮助你更好地理解 RDD 操作的实现步骤，下面是一个简单的流程图，展示了如何使用 Spark 创建和操作 RDD。
```mermaid
gantt
title
原创
2024-10-21 05:26:29
18阅读
# Spark RDD 的常见操作
Apache Spark 是一个强大的开源集群计算框架，广泛应用于大数据处理和分析。在 Spark 中，弹性分布式数据集（RDD，Resilient Distributed Dataset）是最基础的数据结构之一。本文将介绍一些 Spark RDD 的常见操作，并提供相关的代码示例，帮助大家更好地理解和使用 Spark。
## 什么是 RDD？
RDD 是
一、创建一个RDS实例 1.打开控制台，选择“RDS”服务； 2.在左侧栏选择“实例”，右上角点击“创建数据库”； 3.选择引擎：MySQL；选择使用案例：开发/测试； 4.指定数据库详细信息，许可模式：一般公用许可证；数据库引擎版本：最新的就行；数据库实例类：t2.micro；多可用区部署：否；存储类型：通用型SSD；分配的存储空间：20G；数据库实例标识符：lyrrds；主用户名：lyrrds
转载
2023-08-31 14:55:41
54阅读
文章目录RDD操作TransformationsActionsRDD操作接第一篇的更新。Transformationsmap(f
原创
2022-12-04 07:40:04
149阅读
Spark中RDD的常见方法一.集合中的常见方法1.union()，求出两个RDD的并集 2.intersection()，求出两个RDD的交集 3.subtract()，求出去除某个RDD中所有元素外的元素 4.这些集合的方法适合所有类型相同的RDD，【这些元素可以是数字，可以是字符串】 4.代码如下：scala> val rdd1 =sc.paralleliz...
原创
2022-01-28 13:49:29
395阅读
Spark中RDD的常见方法一.集合中的常见方法1.union()，求出两个RDD的并集 2.intersection()，求出两个RDD的交集 3.subtract()，求出去除某个RDD中所有元素外的元素 4.这些集合的方法适合所有类型相同的RDD，【这些元素可以是数字，可以是字符串】 4.代码如下：scala> val rdd1 =sc.paralleliz...
原创
2021-07-08 14:28:37
252阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
今天是spark第三篇文章，我们继续来看RDD的一些操作。我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计算整个计算。而转化操作又可以进一步分为针对元素的转化操作以及针对
原创
2020-12-04 22:03:52
283阅读
今天是spark第三篇文章，我们继续来看RDD的一些操作。我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计算整个计算。而转化操作又可以进一步分为针对元素的转化操作以及针对
原创
2021-04-29 23:15:15
231阅读
今天是spark第三篇文章，我们继续来看RDD的一些操作。我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计算整个计算。而转化操作又可以进一步分为针对元素的转化操作以及针对
原创
2021-04-29 23:15:49
147阅读
今天是spark第三篇文章，我们继续来看RDD的一些操作。我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计算整个计算。而转化操作又可以进一步分为针对元素的转化操作以及针对
原创
2021-04-29 23:15:34
214阅读
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每
转载
2021-01-23 18:24:00
143阅读
2评论
弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。基于某个关键字，该数据集被划分成多块，同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况...
原创
2022-03-15 14:06:34
172阅读
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。
原创
2023-06-10 00:35:02
90阅读
