前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优...
转载
2022-03-10 09:30:16
38阅读
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
调优概述
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
数据
转载
2021-09-01 11:13:23
172阅读
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作
转载
2021-02-01 11:08:00
40阅读
2评论
Spark性能优化指南——基础篇
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
调优概述
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，
转载
2021-06-11 22:33:09
118阅读
Spark性能优化指南——高级篇2016年05月12日 作者: 李雪蕤继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使
转载
2023-06-02 21:41:35
113阅读
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题...
原创
2021-05-11 18:09:46
711阅读
Spark Shuffle配置调优1、Shuffle优化配置 -spark.shuffle.file.buffer2、Shuffle优化配置 -spark.reducer.maxSizeInFlight3、Shuffle优化配置 -spark.shuffle.io.maxRetries4、Shuffle优化配置 -spark.shuffle.io.retryWait5、Shuffle优化配置 -
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、...
转载
2022-03-10 09:29:32
72阅读
原文来我的公众号：Spark性能优化指南——初级篇 一. Spark作业原理 我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。该进程是向集群管理器（Yarn,K8s）申请运行Spark作业需要使用的资源，这里的资源指的就是Executor进程。 ...
转载
2019-12-26 20:38:00
165阅读
2评论
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能
转载
2021-06-11 22:19:13
54阅读
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作...
原创
2021-05-11 18:09:48
985阅读
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性
转载
2021-09-01 11:13:40
126阅读
详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和
转载
2021-02-01 11:06:00
46阅读
2评论
1 Spark开发调优篇 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 因此在我们的开发过程中，能避免则尽可能避免使用reduceByKey、join、distinct、repartition等会进行sh ...
转载
2021-05-03 23:21:59
337阅读
2评论
[TOC]前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能
原创
2022-11-02 09:58:11
134阅读
牛逼！
转载
2021-07-08 13:07:41
163阅读
1.优化? Why? How? When? What?“spark 应用程序也需要优化？”，很多人可能会有这个疑问，“不是已经有代码生成器，执行优化器，pipeline 什么的了的吗？”。是的，spark 的确是有一些列强大的内置工具，让你的代码在执行时更快。但是，如果一切都依赖于工具，框架来做的话，我想那只能说明两个问题：你对这个框架仅仅是知其然，而非知其所以然；看来你也只是照葫芦画瓢而已，没了
转载
2023-08-15 22:06:55
313阅读
结合官网以及两篇高质量博客学习Spark性能调优，摘要几点加深理解1、Spark开发调优有以下十大原则：<1>尽量避免创建重复的RDD<2>尽可能复用同一个RDD<3>对多次使用的RDD进行持久化以上3条原则基本讲述一个问题，就是对多次使用的RDD进行持久化，防止重复创建，并且尽可能多次使用案例代码// 如果要对一个RDD进行持久化，只要对这个RDD调用cach
内存存储优化 首先认识spark内存的用途，一是用来执行计算，另一个是用来做存储。计算有聚合aggregation、关联jion，排序sort，混洗shuffle。在spark中计算内存和存储内存是共享的，也就是用同一块内存，假如计算资源不够，它会去抢存储内存，但不会抢占全部，把存储内存挤掉，仅仅是将存储内存占比降到一定比例就停止。而且存
转载
2023-05-30 23:51:57
195阅读
本篇文章翻译之 Tuning Spark。由于大多数Spark组件基于内存的特性，Spark程序可能会因为集群中的任何资源而导致出现瓶颈：CPU、网络带宽或内存。通常情况下，如果数据适合于放到内存中，那么瓶颈就是网络带宽，但有时，我们还是需要内存进行一些调优的，比如以序列化的形式保存RDDs，以便减少内存占用。这篇调优指南主要涵盖两个主题：数据序列化和内存调优。数据序列化不仅可以优化
