Spark性能调优手段：判断内存消耗：设置RDD并行度，将RDD cache到内存，通过BlockManagerMasterActor添加RDD到memory中的日志查看每个partition占了多少内存，最后乘以partition数量，即是RDD内存占用量。1.Shuffle调优（核心）a.consolidation机制，使shuffleMapTask端写磁盘的文件数量减少，resultTask
转载
2023-08-01 15:22:31
120阅读
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、
# SPARK GC 调优指南
## 1. 确定调优目标
在进行 SPARK GC 调优之前，首先要明确调优的目标是什么，比如减少GC时间、减少内存占用等等。
## 2. 分析GC日志
通过分析GC日志，可以了解当前系统的GC情况，找出存在的问题，并制定相应的调优策略。
## 3. 调整JVM参数
根据GC日志的分析结果，调整JVM参数是调优的重要一步。一般来说，可以调整的参数包括堆大小、新
原创
2024-06-09 06:19:33
112阅读
JVM调优工具 主要有Jconsole，jProfile，VisualVM。 Jconsole : jdk自带，功能简单，但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考这里 JProfiler：商业软件，需要付费。功能强大。详细说明参考这里 VisualVM：JDK自带，功能强大，与JProfiler类似。推荐。 如何调优 观察内存释
# Spark GC 参数配置指南
在大数据处理领域，Apache Spark由于其高效的数据处理能力被广泛应用。然而，正确配置Spark的GC（垃圾回收）参数是提升性能和稳定性的关键之一。本文将介绍一些常用的Spark GC参数配置，并给出代码示例，帮助读者更好地理解和应用这些配置。
## 什么是 GC？
GC（Garbage Collection）是Java中的一项机制，用于自动管理内存
...
转载
2017-12-30 00:29:00
453阅读
为什么我们需要调GC如果是在以前，ETL为王的年代，我们其实大可不必去调试，使用默认的 Parallel GC就可以了。但是随着发展，实时流计算以及AdHoc查询，对JVM的要求：高吞吐...
原创
2023-04-30 06:44:42
289阅读
一、Spark性能调优1、常规性能调优(1)最优资源配置：Executor数量、Executor内存大小、CPU核心数量&Driver内存(2)RDD优化：RDD复用、RDD持久化(序列化、副本机制)、尽早地过滤(3)并行度调节：各个stage的task的数量，应该设置为Spark作业总CPUcore数量的2~3倍(4)广播大变量：每个Executor保存一个副本。初始只有一个副本，需要则
转载
2023-09-24 09:29:56
105阅读
最近使用Openfire和Spark做一个即时通讯客户端，想着自己能够做一个群聊的插件，所以需要自己去搭建环境，下面记录一下步骤以及遇到错误的解决办法（官网有点坑）。准备工作 Sparkplug Kit下载：
sparkplug_kit_2_0_7.zip
Sparkplug Kit文档：Development Guide官方demo 插件Jar：examples.jar这个jar解
转载
2023-11-05 10:45:49
68阅读
1. spark 性能调优
a. 分配更多资源——第一步要做的
比如增加 executor个数（num_executor）、增加 executor 的 cpu 核数（executor_cores）、增加 executor 的内存量（executor_memory）
增加 executor个数 和 executor 的 cpu 核数是为了增加执行的并行能力（能够并行执行的task数量也变多了）；
转载
2023-08-29 19:46:26
200阅读
前置主要涉及6个参数，从3个方面：executor、core、内存的大小，并行度，内存管理 进行调优优化的方案资源分配num-executors：spark使用多少个executors executor-cores：core和task的数量 这2个参数要结合一起来配置，还要考虑可用的计算资源，executor-cores设置为2-4个比较合适，num-executors就是总共可用的cores 除
转载
2023-08-10 11:36:31
124阅读
前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spar...
转载
2021-06-10 20:56:42
3565阅读
前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spar...
转载
2021-06-10 20:56:41
3767阅读
资源参数调优： Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源的使用效率,从而提高Spark的运行效率。 num-executors ###参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向集群管理器申请资源时,资源管理器会尽可能按照设置在集群各个节点上,启动相应的Executor进程。该参数
转载
2023-08-06 08:33:02
186阅读
# 调优Hive参数避免GC溢出
在大数据处理中，Hive作为一个数据仓库查询工具，常常需要处理海量数据。在处理大数据量时，会频繁触发JVM的垃圾回收（GC）操作，如果不合理调优参数，就会导致GC溢出，从而影响系统性能。本文将介绍如何通过调优Hive参数来避免GC溢出的问题。
## GC溢出原因
GC溢出通常是由于JVM内存不足或GC算法选择不合适导致的。在Hive中，由于数据量大、查询复杂
原创
2024-03-12 03:35:14
251阅读
spark参数调优摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7.spark.shuf ...
转载
2021-08-02 19:01:00
1313阅读
2评论
调整partition数量，每次reduece和distict的时候都应该调整，数量太大和太小都不好，通常来讲保证一个partition的大小在1～2G左右为宜 调整excutors 调整core 调整内存 使用cache （但是在内存不够的情况下，最好不要用，可能会频繁GC） 尽量减少shuffl
原创
2021-09-14 11:17:31
151阅读
在大数据处理领域，Apache Spark因其出色的性能和强大的并行处理能力而备受推崇。然而，当遇到“Spark GC时间过长”的问题时，涉及的复杂性以及对业务性能的影响往往让开发与运维团队感到棘手。本篇博文将全面分析这一问题，从错误现象到根因分析、解决方案，再到预防优化进行详细整理。
**问题背景**
在某金融数据分析项目中，我们使用Apache Spark进行每日的数据处理和分析任务。随着
1.Spark.Shuffle.consolidateFiles spark.shuffle.manager是hash的情况下，该参数有效。默认是false默认情况下：一个task会生成1-n个输出文件，然后由下游stage去拉取，如果是false就会产生(task个数*每个task产生文件)个文件如下图 如果调整参数为true之后，一个节点产生的文件数只有首批task产生的文
【场景】 Spark对RDD执行一系列算子操作时，都会重新从头到尾计算一遍。如果中间结果RDD后续需要被被调用多次，可以显式调用 cache()和 persist()，以告知 Spark，临时保存之前的计算结果，这样后续多个RDD使用时，就不用重新计算该临时结果了，从而节约计算资源。 要注意cache和persist是惰性的，需要action算子来触发。
转载
2024-07-05 12:51:51
33阅读
