JVM调优：1 降低cache操作的内存占比 spark中，堆内存又被划分成了两块，一块是专门用来给RDD的cache、persist操作进行RDD数据缓存用的。另外一块用来给spark算子函数的运行使用的，存放函数中自己创建的对象。默认情况下，给RDD cache操作的内存占比，是0.6
转载
2023-10-03 15:11:06
63阅读
Two-way条件匹配：指定路由器—DR，相当于在广播域内找到的特定设备，和别的路由器建立邻接关系。备份指定广播域—BDR，应该和其他设备之间建立邻接关系，BDR和DR之间也是邻接关系，这样BDR才能在BR出现故障时第一时间顶替DR的位置，起到备份的作用。一个MA网络中，DR和BDR都存在的情况下，至少需要几台设备才能看到邻接关系？答：至少4台，只有DR-Other之间回家你邻居关系。DR/BDR
# Redis 挂掉了
在进行开发或者生产环境中，Redis 都是一个非常常用的内存数据库，用于处理高并发和大量数据请求。然而，由于各种原因，Redis 有可能会出现挂掉的情况，导致服务不可用。
## Redis 挂掉的原因
Redis 挂掉的原因有很多种，常见的包括网络问题、内存不足、配置错误等。当 Redis 挂掉时，我们需要及时发现问题并进行处理，以保证系统的正常运行。
## 如何检
原创
2024-06-01 06:54:21
52阅读
Spark内存溢出
堆内内存溢出
堆外内存溢出堆内内存溢出java.lang.OutOfMemoryError: GC overhead limit execeeded
java.lang.OutOfMemoryError: Java heap space
具体说明
Heap size JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.
JVM在启
转载
2023-08-23 10:06:59
194阅读
Spark使用过程中会有多种内存溢出的情况，即包括driver端的内存溢出，map对象过多内存溢出，数据不平衡内存溢出，shuffle后内存溢出以及standalone资源分配不均匀导致的内存溢出。driver端的内存溢出可以增大driver的内存参数：Spark.driver.memory (default 1g) 这个参数用来设置Driver的内存。在Spark程序中，SparkContext
转载
2023-09-08 18:21:52
95阅读
一、什么是数据倾斜对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模(节点数量)的增加，应用整体耗时线性下降。如果一台机器处理一批大量数据需要120分钟，当机器数量增加到3台时，理想的耗时为120 / 3 = 40分钟。但是，想做到分布式情况下每台机器执行时间是单机时的1 / N，就必须保证每台机器的任务量相等
转载
2023-12-03 08:09:42
108阅读
xContainer killed by YARN for exceeding memory limits. 16.9 GB of 16 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead”这个错误总会使你的job夭折。它的意思是：因为超出内存限制，集群停掉了container(还没有找到很好的
转载
2023-10-26 10:36:01
135阅读
文章目录Spark调优代码调优参数调优参数调优模板数据倾斜调优 Spark调优代码调优1.避免创建重复的RDD 2.尽可能复用同一个RDD 3.对多次使用的RDD进行持久化 持久化策略选择：默认情况:MEMORY_ONLY（性能最高，前提内存足够，实际生产环境中也不可能把所有的内存提供给你进行持久化，数据量一大就会导致JVM的OOM（out-of-memory:内存溢出）若使用MEMORY_ON
转载
2023-11-12 10:59:50
78阅读
什么是内存溢出 JVM运行过程中，程序不断的申请内存空间用于保存运行时数据，当程序申请的内存空间系统无法满足时，就会抛出内存溢出错误。内存溢出发生的区域以及相应的解决方案都不相同，下面我们逐一分析内存溢出类型及解决方案。OutOfMemoryError与StackOverflowError JVM内存溢出分为两种情况，OutOfMemoryError和StackOverflowError。OutO
转载
2023-10-19 19:30:04
241阅读
spark core实现了spark的基本功能：存储交互、任务调度、内存管理、错误恢复等；本片文章主要介绍与数据交互相关的核心技术点。本文目录：RDD特性及交互shuffle操作及调优RDD持久化的应用Broadcast Variables&Accumulators共享变量的优势及应用场景下篇预告 RDD特性及交互弹性分布式数据集(resilient distributed dat
转载
2023-11-13 17:32:14
66阅读
这次一起分析下spark应用运行期间的内存情况。1. 概述Spark应用在yarn运行模式下，其以Executor Container的形式存在，container能申请到的最大内存受yarn.scheduler.maximum-allocation-mb限制。下面说的大部分内容其实与yarn等没有多少直接关系，知识均为通用的。Spark应用运行过程中的内存可以分为堆内内存与堆外内存
转载
2023-11-24 21:32:32
110阅读
# Redis Sentinel挂掉了，你该如何处理？
随着现代互联网应用对高可用性的需求越来越高，Redis Sentinel作为Redis的高可用解决方案，为我们的数据存储提供了强大的保障。然而，所有的系统都有可能出错，今天我们就来探讨“Redis Sentinel挂掉了”这一问题，以及处理此问题的相关技术。
## 1. 什么是Redis Sentinel？
Redis Sentinel
原创
2024-10-12 04:56:21
76阅读
今天从网吧打dota回来本来是没什么心情学习的..但是看完了火影又不知道该干什么.虽然最近的项目不需要使用spring框架.但是我还是想看看spring框架的神奇之处在哪里，为什么有的人觉得它很好用.但是又有一些人觉得没有存在的必要呢?还有就是当别人问到我为什么要用spring框架的时候我总感觉自己并不是很懂它..但就是想用..我记得有一次项目组成员问我你为什么享用spring'框架的时候我的回答
转载
2024-09-16 15:03:56
37阅读
spark的内存按照存储位置主要分为两大块jvm堆内主要分为三部分storage 用于rdd的缓存和存储 默认占60%？，可以占用execution的空间，但是当execution空间不足的时候需要释放execution 用于reduce的shuffle阶段存放数据 默认占20%，可以占用storage的空间，涉及到shuffle的复杂性，占用时不能释放，只能等它运行结束释放other 用于用户代
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了
转载
2024-06-01 20:51:52
26阅读
# Python服务挂掉处理流程
## 1. 概述
Python服务挂掉是指在运行Python程序时发生了错误或异常，导致程序无法继续执行的情况。本文将指导刚入行的开发者如何处理Python服务挂掉的问题，并提供了相关的代码示例和解释。
## 2. 整体流程
下表描述了处理Python服务挂掉的整体流程。
| 步骤 | 描述 |
| --- | --- |
| 1 | 检测服务挂掉的异常
原创
2023-08-31 04:55:27
227阅读
1.2 数据倾斜优化1.2.1 为何要处理数据倾斜(Data Skew)什么是数据倾斜？对 Spark/Hadoop 这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分(如 Spark 或 Kafka 的一个 Partition)的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。如果数据倾斜没有解决，完全没有
转载
2023-10-23 23:16:03
160阅读
一.场景：在实时任务 注册和激活相关的任务 GamePublishKpi 中，程序运行一段时间，就会报内存溢出 二.分析方法 ps -ef | grep GamePublishKpi 找出运行的程序 jmap -heap 27075（进程号） 查看该程序的运行过程中内存的使用情况该命令对应的参数解读： javascr
转载
2023-05-18 14:04:11
175阅读
【故障现象】 MySQL服务器莫名奇妙的挂掉，并且开启不了。The server quit without updating PID file (/[FAILED]mysql/iZ2ze2hchind7gwe2ilateZ.pid)【错误日志】 查找MySQL的错误日志文件[root@iZ2ze2hchind7gwe2ilateZ ~]# find / -name mysql/etc
原创
2021-08-17 15:19:51
450阅读
spark sql
Spark Shuffle 堆外内存溢出问题与解决（Shuffle通信原理） 问题描述Spark-1.6.0已经在一月份release，为了验证一下它的性能，我使用了一些大的SQL验证其性能，其中部分SQL出现了Shuffle失败问题，详细的堆栈信息如下所示：16/02/17 15:
转载
2024-08-14 18:09:28
57阅读
