1、Codeimport org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
case class Score(name: String, clazz: Int, score: Int)
object OverFunction extends App {
val sparkConf = new Spark
# Spark Lazy Evaluation
## Introduction
In Apache Spark, lazy evaluation is a critical concept that improves the efficiency and performance of data processing. Lazy evaluation refers to the postpone
原创
2023-09-23 16:50:12
49阅读
# Spark Count Lazy
Apache Spark is an open-source framework that provides an interface for programming clusters with distributed data processing. One of the key features of Spark is lazy evaluation,
原创
2023-11-26 08:16:30
28阅读
Spark的基本工作原理我们从宏观讲解Spark的基本工作原理，帮助你全面了解布局1、客户端： 客户端也就是专业们常说的Client端，这里的是表示我们在本地编写Spark程序，然后必须找一个能够连接Spark集群，并提交程序进行运行的机器2、读取数据： 在准备运行Spark程序的同时，是不是也要有数据来源进行处理的呢，这里我们介绍几种常见的读取数据来源，是Hadoop集群中的HDFS、Hive也
转载
2023-09-17 12:09:59
67阅读
# 理解 Spark 的延迟计算（Lazy Evaluation）
Apache Spark 是一个强大的大数据处理框架，其中一个核心特性就是它的“延迟计算”机制。本文将从整体流程出发，通过步骤、代码示例以及状态图和旅行图，帮助你理解 Spark 为什么采用延迟计算的方式。
## 一、Spark 延迟计算的整体流程
在 Spark 中，任务的执行通常有以下几个步骤：
| 步骤 |
1、transformation和Action算子的介绍。transformation操作会针对已有的RDD创建一个新的RDD； 而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并且把结果返回给Driver程序。 transformation的特点就是lazy（懒）特性。lazy特性指的是，如果一个Spark应用中只定义了transformation操作，那么即
转载
2023-09-05 10:09:38
49阅读
# Java中的Lazy加载变量实现
## 引言
在Java开发中，我们常常会遇到需要延迟加载某些变量的情况。Lazy加载是一种性能优化技术，它允许我们在需要使用变量时再去进行初始化，而不是在对象创建时就立即初始化。这种延迟加载的方式可以提高程序的性能和资源利用率。
本文将介绍如何在Java中实现Lazy加载变量，并给出详细的步骤和示例代码。
## 实现步骤
下面是实现Java中Lazy加载
原创
2023-11-15 10:25:42
127阅读
Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的；
在Spark中存在转换操作（Transformation Operation）与 行动操作(Action Operation)两种；而转换操作只是会从一个RDD中生成另一个RDD且是lazy的，Spark中只有行动操作（Action Operation
转载
2024-06-05 14:28:27
45阅读
Spark只支持两种RDD操作，transformation和action操作，transformation针对已有的RDD创建一个新的RDD文件，action主要是对RDD进行最后操作，比如遍历和reduce、保存到文件等，并可以返回结果到Driver程序transformation,都具有lazy特性，只定义transformation操作是不会执行，只有接着执行一个action操作后才会执行
转载
2023-06-19 06:36:54
235阅读
shuffle 简介shuffle 描述了数据从 map task 输出到 reduce task 输入的过程，shuffle 是连接 map 和 reduce 的桥梁；shuffle 性能的高低直接影响了整个程序的性能和吞吐量，因为在 分布式 情况下，reduce task 需要跨节点去拉取其他节点上 map task 的结果，这需要消耗网络资源、内存 IO 和磁盘 IO；shuffle 可分为
转载
2023-08-13 17:26:27
82阅读
Android HAL简介1、 HAL介绍现有的HAL架构由patrick brady(Google)在2008 Google IO演讲中提出的，如下图：Android的HAL是为了保护一些硬件提供商的知识产权而提出的，是为了避开Linux的GPL束缚。思路是把控制硬件的动作放到了Android HAL中，而Linux driver仅仅完成一些简单的数据交互动作，甚至把硬件寄存器空间直接映射到us
转载
2023-08-09 20:40:36
337阅读
1 概述org.springframework.context.annotation.Lazy@Lazy 注解可以提高系统加载速度，@Component 注解的 Bean，在启动的时候不会被初始化，只有通过 ApplicationContext 对象的 getBean 方法获取的时候才会初始化；或者其他 Bean 通过 @Autowired 注入的时候也会初始化。1.1 作用范围可以作用于在类上和
转载
2023-11-30 23:28:43
138阅读
两个概念函数式接口函数式接口就是只显式声明一个抽象方法的接口。为保证方法数量不多不少，java8提供了一个专用注解@FunctionalInterface，这样，当接口中声明的抽象方法多于或少于一个时就会报错。如下图所示：Lambda表达式Lambda表达式本质上是一个匿名方法。让我们来看下面这个例子：public int add(int x, int y) {
return x + y;
转载
2023-08-01 11:12:34
68阅读
Scala Lazy 惰性加载原写法;def main(args: Array[String]): Unit = { val result: Int = sum(13, 47) println("1. 函数调用")
原创
2022-12-07 00:31:39
115阅读
一、广播变量和累加器1.1 广播变量：广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。Spark还尝试使用高效地广播算法来分发变量，进而减少通信的开销。 Spark的动作通过一系列的步骤执行，这些步骤由分布式的shuffle操作分开。Spark自动地广播每个步骤每个任务需要的通用数据。这些广播数据被序列化地缓存
转载
2024-04-08 12:47:23
95阅读
Spark广播变量1. 什么是广播变量？广播变量（Boardcast）是Spark中应对shuffle造成的性能变慢的有效克制手段，它是一种分发机制，一次性封装目标数据结构，以Excutor为粒度做数据分发。数据分发数=Excutor数1.1 如何理解广播变量需求： WordCount升级版，统计所有文件里，指定单词的数量。WordCount V1.0val dict = List("spark"
转载
2024-02-24 11:46:14
54阅读
这两天在使用spark中的用到了广播变量，大致逻辑是从Redis中读取黑名单配置，然后广播到各个节点用于异常监控，但是在使用过程中总是报空指针异常，后面百度了很多资料，发现有说Yarn集群中不支持广播变量的，有说Sparkstreaming不支持广播变量更新的，有说是spark闭包问题的等等各种，最后笔者去查了sparkstreaming官方文档才学会了广播变量的正确使用方法，并将过程记录下来。先
转载
2023-09-28 19:44:35
104阅读
Lazy frogThere was once a frog who live in the depth of the unknown wells, one day he wanted to walk out.But he was lazy, climb three meters daytime and night will fall two meters.If given the well de
原创
2022-07-08 10:11:20
51阅读
题目链接 题意： 给定数列$a_{1}、a_{2}、a_{3}...a_{n}$，两种操作： \(1\) \(l\) \(r\) \(v\)，将区间$\left[ 1,v\right]$内的$a_{i}$增加v。 \(2\) \(l\) \(r\)，询问$\displaystyle\sum_{i=l ...
转载
2021-09-18 20:09:00
104阅读
2评论
转载
2018-09-14 18:33:00
173阅读
2评论
