RDD有关RDD的基础概念请阅读spark官方文档，或网上搜索其他内容。本文完全是实战经验的总结。
惰性求值RDD的转换操作都是惰性求值的。惰性求值意味着我们对RDD调用转化操做（例如map操作）并不会立即执行，相反spark会在内部记录下所要求执行的操作的相关信息。把数据读取到RDD的操作同样也是惰性的，因此我们调用sc.textFile()时数据没有立即读取进来，
目录3.6 RDD机制3.6.1 持久化机制3.6.2 容错机制3.6 RDD机制持久化机制（即缓存机制）和容错机制。3.6.1 持久化机制惰性求值，即每次调用行动算子操作，都会从头开始计算。然而，每次调用行动算子操作，都会触发一次从头开始的计算，这对于迭代计算来说，代价是很大的，因为迭
【RDD】不可变的分布式对象集合。Spark使用谱系图(lineage graph)来记录不同 RDD 之间的依赖关系。每当我们调用一个新的行动操作时，整个 RDD 都会从头开始计算。要避 免这种低效的行为，用户可以将中间结果持久化。【惰性求值】惰性计算RDD：Spark 了解完整的转化操作链，只计算求结果时真正需要的数据。在被调用行动操作之前 Spark 不会 开始计算。当我们调用 sc.tex
转载
2023-09-14 17:12:43
79阅读
hspark.jpeg 1.什么是RDDRDD 是 Spark 的计算模型。RDD(Resilient Distributed Dataset)叫做弹性的分布式数据集合，是 Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD 就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。一个RDD就是一个分布式对象集合，本质上是一个
转载
2024-02-03 16:21:01
227阅读
1）persist()和cache()都是默认缓存在内存
2）cache只是一个transformation，是lazy的，只有出发action才会真正记缓存
Q：spark里面的cache是lazy的还是legal的？
A：spark-code里面的cache是lazy的，spark-sql里面的是legal的
3）缓存类型
NONE : 什么类型都不是
最近公司要开发一个spark项目，学习下spark使用，由于公司原因必须使用java，以下代码全部基于java实现。spark基础基于内存实现，效率高于hadoop，内存不足的时候也会将中间结果写入磁盘，效率会降低。操作容易，hadoop只提供了map和reduce两个操作，对于某些复杂任务，会写很多map和reduce，操作非常复杂，而且由于map阶段完全完成后才会进行reduce，效率会降低。
转载
2023-12-13 23:59:46
30阅读
1.简述Spark的技术特点 基于内存的弹性分布式数据集（RDD）：Spark提出的弹性分布式数据集，是Spark最核心的分布式数据抽象，Spark的很多特性都和RDD密不可分。 Transformation & Action：Spark通过RDD的两种不同类型的运算实现了惰性计算，即在RDD的Transformation运算时，Spark并没有进行作业的提交；而在RDD的Action操作
转载
2024-01-14 18:10:29
86阅读
RDD的三类算子Transformation通过已有的RDD生成新的RDD惰性计算：Transformation 只会记录RDD的转化关系，不会触发计算（类似于py 里面的惰性序列，如 zip）举例：map，filter，groupBy，reduceBy优点：可以中间插入优化过程Action通过RDD计算得到一个或者一组值Action是立即执行的举例：cout，reduce，saveAsTextF
转载
2023-12-16 15:07:39
136阅读
# Spark的惰性机制
Apache Spark 是一个强大的大数据处理框架，它的高性能和易用性吸引了众多数据工程师和数据科学家的关注。在 Spark 中，惰性机制（Lazy Evaluation）是其核心特性之一，这个机制使得 Spark 能够高效地处理大规模的数据集。
## 什么是惰性机制？
惰性机制指的是，Spark 在执行操作时并不会立即计算结果，而是会将操作延迟到真正需要结果的时
一、Spark概述1.Spark 是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2.Spark and MapReduceSpark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。可称MapReduce为一次性数据集计算 主要利用磁盘交互，磁盘IO非常影响性能Spark会将数据结果
转载
2024-01-19 22:40:19
76阅读
一、前述Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。二、具体
转载
2024-10-26 19:38:44
16阅读
# Spark的惰性操作入门指南
Apache Spark是一种快速、通用且易于使用的大数据处理引擎。在处理数据时，Spark采用了惰性操作（Lazy Evaluation）的策略。面对初学者，我们需要明确这一特性是如何工作的，以及如何在实际项目中应用它。本文将带您逐步了解Spark的惰性操作以及必要的代码示例。
## 流程概述
在实现Spark的惰性操作过程中，我们可以将步骤分为以下几个阶
人类是计算性的吗？人类的大脑是计算器设备吗？我们的大脑是遵循阿波罗11号相同基本规则的巨型钟表装置吗？为了了解计算机和它的局限性(如果有的话)，我们需要回答这些问题。 这就是为什么说计算机是具有哲学意义的设备。锤子只能敲钉子，锯子只能锯木头，但计算机可以映照出现实世界中10亿个不同的东西。公正地说，我们还不理解计算机在形而上学的含义。我们知道它以微妙和显著的方式改变了世界，但更多的事情
系列文章目录spark第一章：环境安装 spark第二章：sparkcore实例 文章目录系列文章目录前言一、idea创建项目二、编写实例1.WordCount2.RDD实例3.Spark实例总结 前言上次我们搭建了环境，现在就要开始上实例，这次拖了比较长的时间，实在是sparkcore的知识点有点多，而且例子有些复杂，尽自己最大的能力说清楚，说不清楚也没办法了。一、idea创建项目这个可以参考我
转载
2023-10-26 14:07:01
36阅读
Spark 官方网站使用如下简洁的语言描述了Spark我们可以从中提取出如下信息：Spark是一个引擎快速通用Spark可以用来处理数据数据是大规模的Spark本身并不提供数据存储能力，它只是一个计算框架它的快速体现在什么地方呢？如果处理的数据在内存中，运行MapReduce比hadoop要快100倍以上，要是数据在磁盘中，也比Hadoop快10倍以上。为什么会快呢，Spark在处理数据的时候，使
转载
2023-09-30 09:20:55
44阅读
作者：朱凯
01 概述 十年前我们只有Hadoop，大家首先通过HDFS实现海量数据的共享存储，然后使用MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十分完美。
但众口难调啊，有人觉得MapReduce的编程模型太难使用了，为什么不能使用SQL来分析数据呢？我们数据库领域已经有非常成熟的数据仓库模型了，为何不实现一个大数据技术的数据仓库呢？
转载
2024-01-13 19:42:55
39阅读
spark 行动算子 TensorFlow
转载
2017-10-14 23:07:00
277阅读
2评论
# Spark惰性机制的好处
## 概述
在Spark中，有一种被称为“惰性求值”的机制。这意味着Spark不会立即执行操作，而是将它们转换为一个操作的“执行计划”，等到真正需要获取结果时才会执行。这种机制的好处是可以减少不必要的计算和内存占用，提高程序的性能和效率。
## 流程
下面是实现“Spark惰性机制的好处”的流程图：
```mermaid
stateDiagram
[
原创
2024-03-26 08:04:42
94阅读
Spark是用于分析应用程序的开源，可伸缩，大规模并行，内存中执行引擎。可以将其视为位于多个数据存储上方的内存层，在其中可以将数据加载到内存中并在整个集群中并行进行分析。 Spark Core：Spark的基础，它为调度和基本I / O提供了许多自由，Spark提供了100多个高级操作员，使构建并行应用程序变得容易。 Spark还包括预构建的机器学习算法和图形分析算法，这些算法专门编写
转载
2023-12-20 14:40:45
48阅读
WordCount示例：val file = spark.textFile("hdfs://...")
val counts = file.flatMap(line => line.split(" "))
.map(word => (word, 1))
.reduceByKey(_ + _)
counts.saveAs
转载
2024-01-18 22:07:18
37阅读
