一开始使用yarn-client模式提交作业时一切正常，但换成cluster模式下 使用sparksql方法执行hive查询语句时，却出现了如下的OOM问题：Exception in thread "Thread-3" java.lang.OutOfMemoryError: PermGen space出现这个错误原主要原因是太多的类或者太大的类都被加载到永久代，导致存储器中永久代的内存
转载
2023-09-21 06:16:03
75阅读
背景最近在做Spark 3.1 升级 Spark 3.5的过程中，遇到了一批SQL在运行的过程中 Driver OOM的情况，排查到是AQE开启导致的问题，再次分析记录一下，顺便了解一下Spark中指标的事件处理情况结论SQLAppStatusListener 类在内存中存放着 一个整个SQL查询链的所有stage以及stage的指标信息，在AQE中 一个job会被拆分成很多job，甚至几百上千的
转载
2024-06-26 16:03:56
88阅读
# SparkSQL出现OOM问题及解决方案
Apache Spark是一款强大的大数据处理框架，在处理结构化数据时，SparkSQL提供了简洁的API和高效的执行引擎。然而，在进行大规模数据处理时，用户可能会遇到OutOfMemory (OOM)错误，这通常由不当的资源分配、数据倾斜或算法设计不当引起。
## OOM的概念
OOM指的是在Java虚拟机（JVM）中，堆内存不足，无法为新的对
原创
2024-08-06 08:29:49
68阅读
一、spark的内存分布堆内内存：
在这使用堆内内存的时候，如果我们设置了堆内内存2个g的话，读取的数据也是两个g，此时又来两个g的数据，这样就会产生OOM溢出，因为处理完两个g的数据，并不会马上进行GC。
堆外内存：
这样我们就可以使用堆外内存，也就是物理内存，堆外内存可以精准的申请和释放空间，不需要Gc，性能比较高，提升了任务的效率。二、Spark的宽窄依赖宽依赖：
一个父RDD分区中的
转载
2024-06-20 10:02:08
18阅读
文章目录Generic Load/Save Functions(通用加载/保存函数)Manually Specifying OptionsRun SQL on files directly(直接在文件上执行SQL)Save Modes(保存模式)Saving to Persistent Tables(保存到持久表)Bucketing, Sorting and Partitioning(分桶,排序
OOM产生的原因map执行中内存溢出shuffle后内存溢出map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。后面先总结一下我对Spark内存模型的理解，再总结各种OOM的情况相对应的解决办法和性能优化方面的总结。如果理解有错
转载
2023-09-08 23:54:06
138阅读
一. spark-sql
1.in 不支持子查询 eg. select * from src where key in(select key from test);
支持查询个数 eg. select * from src where key in(1,2,3,4,5);
in 40000个 耗时25.766秒
in 80000个 耗时78.827秒
2.union all/union
不支持顶层
转载
2023-09-15 16:03:13
895阅读
前言Apache Spark在6月份分布了3.0.0版本，增加了许多性能优化方面的新特性。作为大数据分析的重要引擎，在SQL查询优化方面的新特性值得期待和使用。Spark在SQL查询方面的性能优化主要分为四个方向七个方面：开发交互方向新的Explain格式所有join支持hints动态优化自适应查询执行动态分区裁剪Catalyst提升增强嵌套列的裁剪和下推增强聚合的代码生成基础设施更新支持新的Sc
转载
2023-08-08 10:50:28
190阅读
在Linux系统中，OOM（Out of Memory）是一个经常出现的问题。OOM指的是系统内存不足，无法继续运行程序，导致内核选择性地杀死某些进程以释放内存。OOM是一个比较严重的问题，它会使系统变得不稳定，甚至导致系统崩溃。
在Linux中，可以通过调整OOM调度参数来控制OOM行为。OOM Score是一个用来评估进程杀死顺序的指标，具有较高OOM Score的进程会被内核优先杀死。oo
原创
2024-05-29 09:48:25
172阅读
背景：我司作为某运营商公司的技术咨询公司，发现有第三方开发公司在使用HBase 1.1.2 （HDP 2.4.2.258版本）一段时间使用正常后，从某一天开始报OOM，从而导致RegionServer宕机。故障排查步骤查看 regionserver的log和stdout。由于是突然宕机，log没有任何error信息，stdout 因为自动拉起以及默认启动脚本是重定向覆盖，所以被洗掉了；而oom d
转载
2023-11-03 22:55:42
128阅读
**如何实现Java OOM和Linux OOM**
作为一名经验丰富的开发者，我将向你介绍如何实现Java OOM（内存溢出）和Linux OOM（Out-of-memory）的过程。首先，让我们了解一下整个流程，并使用表格展示每个步骤。
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 编写一个Java程序或运行一个Java程序 |
| 2 | 分配大量的内存
原创
2023-07-31 16:26:50
75阅读
1.简介The OOM Killer 是内核中的一个进程，当系统出现严重内存不足时，它就会启用自己的算法去选择某一个进程并杀掉. 之所以会发生这种情况，是因为Linux内核在给某个进程分配内存时，会比进程申请的内存多分配一些. 这是为了保证进程在真正使用的时候有足够的内存，因为进程在申请内存后并不一定立即使用，当真正使用的时候，可能部分内存已经被回收了. 比如 当一个进程申请2G内存时，内核可能会
转载
2024-04-18 21:43:22
85阅读
一、flushall/flushdb误操作的处理 假设进行flush操作的Redis是一对主从结构的主节点，其中键值对的个数是100万，每秒写入量是1000。 1.缓存与存储 被误操作flush后，根据当前Redis是缓存还是存储使用策略有所不同：缓存：对于业务数据的正确性可能造成损失还小一点，因为缓存中的数据可以从数据源重新进行构建，但是缓存雪崩和缓存穿透的相关知识，当前场景也有类似的
转载
2023-09-18 23:11:10
76阅读
一、Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如，select * from employees;在这种情况下，Hive可以简单读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在h
转载
2024-01-28 15:42:40
130阅读
OOM（Out Of Memory）在加载图片过多或者过大的情况下会发生OOM，可以查看APP最高可用内存： int maxMemory = (int) (Runtim.getRuntime().maxMemory()/1024);OOM问题如何解决？解决方案：1、使用强引用（StrongReference）、弱引用（WeakReference）、软引用（SoftReference）、虚引用（P
转载
2023-07-12 10:53:46
109阅读
1、什么叫OOM全名称为：Out Of Memory内存溢出已经是软件开发历史上存在了近40年的“⽼⼤难”问题。在操作系统上运⾏各种软件时，软件所需申请的内存远远超出了物理内存所承受的⼤⼩，就叫内存溢出。内存溢出产⽣原因多种多样，当内存严重不⾜时，就很容易出现OOM 2、产生OOM原因主要原因就是内存不足,其中performance_schema 功能在带给我们更多性能监控手段的同时，也
转载
2023-06-28 18:08:15
160阅读
今天看了下微博，扔物线分享了个内存检测的工具：
内存泄露是 OOM 最常见的原因，但它的侦测需人工排查，往往眼看瞎也未必能找到泄露的内存。Square 新库 LeakCanary 用一种巧妙的思路实现了自动探测内存泄露，这已经帮他们减少了94%的 OOM。 在这篇文中，Square 介绍了这个帅气的库，也提出了一种新颖的获取测试设备的方式："偷"：
是
转载
2024-01-15 19:25:32
112阅读
目录一、概述二、Spark-SQL脚本 正文
回到顶部一、概述SparkSQL 的元数据的状态有两种：1、in_memory,用完了元数据也就丢了2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候，必须依赖于Hive
转载
2023-05-30 11:16:59
210阅读
1、概念 Spark SQL是一个用来处理结构化数据的Spark组件。 优点： ①SparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame），然后在Spark集群中运行 ②SparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据） ③SparkSQL支持两种编程API 1.SQL方式
转载
2023-05-29 10:12:48
239阅读
文章目录第1章 Spark SQL概述1.1 什么是Spark SQL1.2 Spark SQL的特点1.2.1 易整合1.2.2 统一的数据访问方式1.2.3 兼容Hive1.2.4 标准的数据连接1.3 什么是DataFrame1.4 什么是DataSet第2章 Spark SQL编程2.1 SparkSession新的起始点2.2 DataFrame2.2.1 创建DataFrame2.2
转载
2023-09-18 21:50:25
125阅读
