Scheduler 模块中最重要的两个类是 DAGScheduler 和 TaskScheduler。上篇讲了 DAGScheduler，这篇讲 TaskScheduler。TaskScheduler前面提到，在 SparkContext 初始化的过程中，根据 master 的类型分别创建不同的 TaskScheduler 的实现。当 master 为 local,
转载
2023-12-09 22:20:12
78阅读
文章目录前言代码ThreadLocal方案 前言作为工程师，不能仅仅满足于实现了现有的功能逻辑，还必须深入认识系统。一次请求，流经了哪些方法，执行了多少次DB操作，访问了多少次文件操作，调用多少次API操作，总共有多少次IO操作，多少CPU操作，各耗时多少 ？ 开发者应当知道这些运行时数据，才能对系统的运行有更深入的理解，更好的提升系统的性能和稳定性。本文主要介绍使用AOP拦截器来获取一次请求流
转载
2024-09-26 16:05:05
37阅读
作者：顾大伟
背景 360网盾Tidb集群拥有120TB 的存储量，运维复杂度很高，平时出问题排查比较困难，8月24号开发反馈业务阻塞了好久了，大约8.19号...
转载
2022-08-12 15:54:00
192阅读
《Spark技术应用》期末考试大作业说明：
1)个性化即在主机名、文件、程序、数据、和表结构等元素上添加自己姓名拼音缩写。
2)提交时间：xxx
3)评分规则：
a)超期提交或者不交者按缺考算，来年重修。
b)P图者0分，来年重修。
c)按个性化点的多少评分，即个性化点数越多，分数越高。
d)须在图片上对个性化点标红。
4)提交方式和内容：在钉钉群上建提交文件夹，以“学号+姓名”格式命名。
5)提
Spark Streaming 是微批处理。 SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); JavaStreamingContext javaStreamingCon
转载
2021-01-14 13:26:00
182阅读
2评论
Spark流处理Spark从2.3版本开始引入了持续流式处理模型，可将流处理延迟降低至毫秒级别，让 Structured Streaming 达到了一个里程碑式的高度；使用 Pandas UDF 提升 PySpark 的性能；为 Spark 应用程序提供 Kubernetes 原生支持。出于某些原因的考虑，Spark 引入 Structured Streaming 将微批次处
转载
2023-12-08 08:38:14
389阅读
实时计算简介随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架 MapReduce 已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析，决策。例如实时的用户推荐，在 618 这样的刺激环境下普通历史数据的推荐已经不能满足场景，就需要采集前分钟，甚至式前几秒的数据进行分析。实时计算适用于这种对历史数据依赖不强，短时间内变化较大的数据。用户行为分析，舆情分析，等等不断随环境和时间实
转载
2024-08-13 12:39:35
28阅读
需求描述：在系统上有时候会出现某个进程占用CPU很高，影响其他进程使用比如，在测试环境发现mysql进程耗时很高1.top
原创
2022-12-01 16:53:23
52阅读
1、aggregate原型 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U含义 aggregate是一个聚合函数，一个RDD分区后，产生多个Partition，在aggregate中需要指定两个处理函数，第一个函数用于对每个分区内部处理，第二个函数用于分区之间的处
转载
2024-05-29 16:21:39
60阅读
# Spark耗时分析实现流程
## 简介
在大数据处理过程中，了解Spark任务的耗时情况对性能优化和资源管理非常重要。本文将介绍如何使用Spark进行耗时分析，以便能够更好地了解任务的执行情况，并针对性地进行优化调整。
## 流程图
```mermaid
flowchart TD
subgraph 初始化
A[创建SparkSession] --> B[导入依赖]
原创
2023-09-28 10:20:56
139阅读
Spark2.1.0——深入理解事件总线概览 Spark程序在运行的过程中，Driver端的很多功能都依赖于事件的传递和处理，而事件总线在这中间发挥着至关重要的纽带作用。事件总线通过异步线程，提高了Driver执行的效率。 Spark定义了一个特质[1]ListenerBus，可以接收事件并且将事件提交到对应事件的监听器。为了对Listener
问题的提出本篇文章将回答如下问题：1. spark任务在执行的时候，其内存是如何管理的？2. 堆内内存的寻址是如何设计的？是如何避免由于JVM的GC的存在引起的内存地址变化的？其内部的内存缓存池回收机制是如何设计的？3. 堆外和堆内内存分别是通过什么来分配的？其数据的偏移量是如何计算的？4. 消费者MemoryConsumer是什么？5. 数据在内存页中是如何寻址的？ 单个任
M
原创
2023-05-10 15:32:56
77阅读
# 相差秒数Instant start = Instant.now();Thread.sleep(3000L);Instant end = Instant.now();Duration duration = Duration.between(start, end);System.out.println(duration.getSeconds());//添加1天Dura...
原创
2021-08-25 11:15:12
164阅读
# 相差秒数Instant start = Instant.now();Thread.sleep(3000L);Instant end = Instant.now();Duration duration = Duration.between(start,
原创
2022-02-18 11:22:13
53阅读
1. 前序关于Executor如何运行算子，请参考前面博文：大数据：Spark Core（四）用LogQuery的例子来说明Executor是如何运算RDD的算子，当Executor进行reduce运算的时候，生成运算结果的临时Shuffle数据，并保存在磁盘中，被最后的Action算子调用，而这个阶段就是在ShuffleMapTask里执行的。前面博客中也提到了，用什么ShuffleWrite是
转载
2024-06-19 13:33:34
22阅读
1、关于Application 用户程序，一个Application由一个在Driver运行的功能代码和多个Executor上运行的代码组成（工作在不同的节点上）。又分成多个Job，每个Job由多个RDD和一些Action操作组成、job本分多个task组，每个task组称为：stage。每个task又被分到多个节点，由Executor执行：在程序中RDD转化其实还未真正运
转载
2024-08-06 11:23:29
134阅读
# 如何测量和优化 Spark 任务的耗时波动
在大数据处理中，Apache Spark 是一个重要的计算框架，它可以处理大量的数据集。然而，在运行 Spark 任务时，可能会出现任务耗时的波动，导致整体性能下降。本文将介绍如何实现“测量 Spark 任务耗时的波动”，并提供相应的代码示例，以及如何优化这些波动。
## 流程概述
在测量 Spark 任务耗时波动的过程中，我们通常会遵循如下步
# 如何实现"spark某些task很耗时"的优化
## 简介
在Spark开发中，有时候会遇到某些task很耗时的情况，这可能会导致整个Spark应用的性能下降。本文将介绍如何优化这种情况，提高Spark应用的执行效率。
## 整体流程
首先，让我们来看一下整个优化流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 监控Spark任务的执行情况 |
| 2 | 分析
原创
2024-03-25 06:29:49
67阅读
# 使用Spark加载HDFS文件并测量耗时的教程
在大数据处理领域，Apache Spark 是一种流行的工具，它可以方便地从 HDFS（Hadoop 分布式文件系统）中加载数据并进行处理。在本教程中，我们将学习如何实现Spark加载HDFS文件，并测量这一过程所耗费的时间。我们将通过以下步骤来完成这一任务。
## 流程概述
以下是整个过程中所需的步骤：
| 步骤 | 描述
