前言，线上的是一台java服务，启动参数如下所示：-Xmx5g -Xms5g -Xmn3g -Xss256k -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:LargePageSizeInBytes=128m -X
文章目录什么是Checkpointing为什么使用Checkpointing哪些RDD需要使用CheckpointingCheckpointing和Cache的区别参考资料 什么是CheckpointingCheckpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。
转载
2024-10-05 08:12:45
55阅读
# 深入理解Spark任务中的Full GC
在进行大数据处理时，Apache Spark因其强大的分布式计算能力而广泛应用。然而，Spark任务在执行过程中，有时会因为内存管理不当而触发Full Garbage Collection（Full GC），这不仅影响性能，甚至可能导致任务失败。本文将深入探讨Full GC的概念、背后的原因，并提供一些优化建议。
## 什么是Full GC？
F
原创
2024-10-15 05:18:38
120阅读
1、Spark中的基本概念 名词解释：Application指的是我们开发的spark应用程序。我们开发好代码以后去提交任务这就是一个applicationDeploymodeClient：在哪儿提交代码哪台服务器就是Driver cluster：会把Dirver发送到集群的不同机器上。Executor我们的任务是需要运行在Executor里面的Job我们提交的一个application
转载
2023-08-18 17:57:20
80阅读
一、基础概念GC（垃圾收集器）1.1 GC三种分类Minor GC：新生代GC，指发生在新生代的垃圾收集动作。所有的Minor GC都会触发全世界的暂停（stop-the-world），停止应用程序的线程，不过这个过程非常短暂。Major GC：老年代GC，指发生在老年代的垃圾收集动作。Full GC：是清理整个堆空间，包括新生代和老年代。1.2 堆的内存划分新生代 ( Young )：主要用来存
转载
2023-08-30 16:54:54
266阅读
1： 线上出现连续几次服务不可用， 2： 刚开始通过查询内存JAVA对象大小的数量看是不是有内存泄露jmap -histo 8 发现内存中，确实存在一些不应该存在的对象。如始红圈的点，这个是POI 工具中引用的XSSFWorkbook因而本次发生Full GC原因，归结为使用POI工具不合适。 3： jmap -dump:format=b,file=heap.bin
转载
2023-09-08 09:43:43
278阅读
前几天在做功能压测时发现应用在启动时出现了4次Full GC，并且当时还没有开始压测，当时排查了很长时间，最终发现是犯了一个低级错误，本想配置-Xss256k的，结果把-XX:MetaspaceSize配置成了256k。o(╥﹏╥)o本着不在同一块儿石头上绊倒两次的原则，又系统了学习了一下Full GC的触发条件和如何查看GC日志。简单来说有如下几种情况会触发gc1.调用System.gc()触发
转载
2023-08-08 07:22:10
116阅读
JVM堆内存划分为 Eden、Survivor 和 Tenured/Old 空间，如下图所示：从年轻代空间(包括 Eden 和 Survivor 区域)回收内存被称为 Minor GC，对老年代GC称为Major GC,而Full GC是对整个堆来说的，在最近几个版本的JDK里默认包括了对永生代即方法区的回收(JDK8中无永生带了)，出现Full GC的时候经常伴随至少一次的Minor GC,但非
转载
2023-09-06 14:32:10
104阅读
Minor GC、Major GC、Full GC
原创
2021-08-14 09:40:01
343阅读
Minor GC ，Full GC 触发条件 Minor GC触发条件：当Eden区满时，触发Minor GC。 Full GC触发条件： （1）调用System.gc时，系统建议执行Full GC，但是不必然执行 （2）老年代空间不足 （3）方法去空间不足 （4）通过Minor GC后进入老年代的
转载
2018-04-09 17:51:00
216阅读
2评论
Full GC & Minor GC新创建的对象都存放在年轻代。因为大多数对象很快变成引用不可达（死 亡〉，所以大多数对象在年轻代中创建，然后消失。当对象从这块内存区域消失时，我们说发 生了一次“MinorGC”，工作流程如图 所示，存活对象根据幸存区、老年代区间的实际大 小进行调整。如图：space1和space2交换，使用保持from为空。存活下来的年轻代对象被复制到老年代。 老年代的
原创
2023-03-14 18:18:45
95阅读
http://blog.csdn.net/iter_zc/article/details/41825395http://blog.csdn.net/ligeforrent/article/details/76619057GC的一些常见概念：http://blog.csdn.net/iter_zc/article/details/41802365
转载
2017-07-06 17:09:39
593阅读
我们的Java应用因频繁FULL GC导致性能降低很多，经过多人的定位也没有结论，于是我自主请命，经过一天的研究终于搞定了，现把经验与大家共享，相关的gc日志如下： 4.758: [Full GC [PSYoungGen: 464K->0K(71936K)] [PSOldGen: ...
转载
2016-09-28 14:45:00
222阅读
2评论
前言无论是日常工作，还是企业面试，我们都会经常接触到GC。我们都知道GC是java中的垃圾回收策略。GC帮我们省去了很多事。在GC中，我经常听到的就属于MinorGC和FullGC了。那么在什么情况下才会触发这两种GC呢？MinorGC触发条件虚拟机在进行minorGC之前会判断老年代最大的可用连续空间是否大于新生代的所有对象总空间 1、如果大于的话，直接执行minorGC  
转载
2023-07-12 15:36:15
281阅读
【现象】：应用响应慢，被监控脚本重启。【原因分析】：使用jvisualvm远程连接或直接使用命令查看GC情况，如发现应用进行的Full GC时间较长，或次数较多【解决方案】：调整JVM配置或GC方式。Eg：使用CMS GC方式 <jvm-arg>-XX:+UseParNewGC</jvm-arg> <jvm-ar
原创
2014-03-07 22:34:59
1004阅读
# 如何触发 Java 中的 Full GC（完全垃圾回收）
在 Java 中，垃圾收集是自动管理内存的一种机制，但有时我们需要手动触发 Full GC（完全垃圾回收）。本文将指导刚入行的小白开发者了解如何实现这一过程。我们将通过一个表格梳理出实现 Full GC 的步骤，并详细讲解每一步，并提供相关代码和注释。此外，我们还会展示状态图和类图，以帮助您更好地理解这一过程。
## 实现步骤
下
原创
2024-08-27 06:52:04
57阅读
一、GC四大算法1.GC算法总体概述 jvm在进行GC时，并非每次都对上面三个内存区域一起回收的，大部分时候回收的是指新生代。因此GC按照回收的区域又分了两种类型，一种是普通GC(minor GC)，一种是全局GC(major GC or Full GC)。 Minor GC和Full GC的区别 普通GC(minor GC):只针对新生代区域的GC，指发生在新生代的垃圾回收，因为大多数java对
转载
2023-08-08 07:38:19
114阅读
在面试中我们会经常被问到full Gc相关的问题，比如什么情况下会发生full gc,如何去排查频繁发生full Gc的问题等。要想轻松自如的回答这些问题，我们就必须充分的去理解gc的触发条件，gc回收的内容，以及gc具体的执行过程。掌握了这3个要点，full gc相关的问题就易如反掌了。一、gc的定义GC，即就是Java垃圾回收机制。目前主流的JVM（HotSpot）采用的是分代收集算法。与C+
转载
2023-07-17 22:17:03
144阅读
本教程操作环境：windows7系统、java10版，DELL G3电脑。1.GC堆内存Java将堆内存分为3大部分：新生代、老年代和持久代，其中新生代又进一步划分为Eden、S0、S1(Survivor)三个区。我们在程序中new出来的对象一般情况下都会在新生代里的Eden区里面分配空间，如果存活时间足够长将会进入Survivor区，进而如果存活时间再长，还会被提升分配到老年代里面。持久代里面存
转载
2023-09-06 14:31:40
62阅读
展开全部JVM 内置的通用垃圾回收原则，堆内存划分为 Eden、Survivor 和 Tenured/Old 空间。GC一共分三种：32313133353236313431303231363533e4b893e5b19e31333431363639MinorGC,Major GC v和Full GC。Full GC是清理整个堆空间—包括年轻代和永久代。有时候系统会频繁的FullGC，这时候需要去服
转载
2023-11-18 22:19:02
75阅读
