一，Spark性能优化：开发调优1.避免创建重复的RDD 对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。否则Spark作业会进行多次重复计算多个代表相同数据的RDD，进而增加了作业的性能开销。2.尽可能复用同一个RDD 对于多个RDD的数据有重叠或者包含的情况，我们应该尽量复用一个RDD，这样可以尽可能地减少RDD的数量，从而尽可能减少算子执行的次数。3.对多次使用的R
转载
2023-05-30 19:46:20
282阅读
简介Join操作是spark中比较重要和常用的操作，无论是Spark Core还是Spark SQL都支持一些基础的join操作。但是join操作需要特殊的性能考虑（因为该操作要求RDD根据其key值，将相同key值的RDD拉取到同一个分区中），因为他们需要较大的网络传输，甚至会创建出超过系统处理能力的Dataset；在core Spark中，考虑操作的顺序可能更为重要，因为DAG优化器与SQL优
转载
2023-06-25 14:39:38
143阅读
1.简介Apache Spark是一个快速、通用的大数据处理引擎。下面介绍一下Spark的几个特点。运行速度：相比于Hadoop的MapReduce，基于内存时要快100倍左右，基于磁盘是也要快10倍左右。易用性：Spark提供了超过80多种高级操作，使得构建并行操作变得简单。可以使用Java、Scala、Python或者R语言快速编写Spark程序。通用性：Spark提供了一系列库，包含
转载
2023-09-25 12:43:48
71阅读
文章目录一.在内存中缓存数据二.其它配置项三.SQL查询连接的hint四.自适应查询执行五.合并分区后重新组合六.将排序合并联接转换为广播联接七.优化倾斜连接参考: 一.在内存中缓存数据Spark SQL可以通过调用Spark.catalog.cachetable (“tableName”)或DataFrame.cache()来使用内存中的columnar格式缓存表。然后Spark SQL将只扫
转载
2023-09-27 12:46:50
75阅读
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业
转载
2023-09-15 14:27:23
47阅读
2.介绍： 在看过美团点评的文章后，我觉得对Spark的调优写的十分棒，我决定综合自己对其的理解写一篇针对这篇文章的代码调优方面的读后感。以加深对其的理解。调优分为基础篇和高级篇，我先对比较倾向于代码的基础篇进行讲解。3.正文原则一：避免重复的RDDRDD的根本就是一个数据集，我们需要从外部数据源或者容器类中获取数据，创建RDD，在编程中我们不应对相同的一份数据进行多次读取，创建多个RDD，
转载
2023-06-01 18:02:19
122阅读
Spark的性能调优主要有以下几个方向：常规性能调优：分配资源、并行度、RDD架构与缓存等JVM调优（Java虚拟机）：JVM相关的参数，通常情况下，如果你的硬件配置、基础的JVM的配置，都ok的话，JVM通常不会造成太严重的性能问题；反而更多的是，在troubleshooting中，JVM占了很重要的地位；JVM造成线上的spark作业的运行报错，甚至失败（比如OOM）。shuffle调优（相当
转载
2024-02-27 20:24:31
73阅读
在大型分布式系统中，采用事件机制是最常见的。如果Spark UI采用Scala的函数调用方式，由于函数调用多数情况下是同步调用，导致线程被阻塞。将函数调用更换为发送事件，事件的处理时异步的，当前线程可以继续执行后续逻辑，线程池中的线程还可以被重用，这样整个系统的并发度会增加。发送的事件会存入缓存，由定时调度器取出后，分配给此事件的器对监控数据进行更新。 DAGScheduler是主
转载
2023-08-16 06:31:30
142阅读
3.4 SparkUI详解任何系统都需要提供监控功能，用浏览器能访问具有样式及布局并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的架构如图3-1所示。在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程
转载
2023-12-19 21:18:50
40阅读
作者：zcc_0015
Spark特别适用于多次操作特定的数据，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的内存，成本很高;mem & disk:内存用完后，会自动向磁盘迁移，解决了内存不足的问题，却带来了数据的置换的消费。Spark常见的调优工具有nman
转载
2023-08-16 06:31:59
105阅读
一、性能调优1、分配资源a、在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数/usr/local/spark/bin/spark-submit \
--class cn.spark.sparktest.core.WordCountCluster \
--num-executors 3 \ 配置executor的数量
--driver-
转载
2023-07-10 15:03:54
75阅读
基于软件性能优化原则和 Spark 的特点，Spark 性能优化可以分解为下面几步。性能测试，观察 Spark 性能特性和资源（CPU、Memory、Disk、Net）利用情况。分析、寻找资源瓶颈。分析系统架构、代码，发现资源利用关键所在，思考优化策略。代码、架构、基础设施调优，优化、平衡资源利用。性能测试，观察系统性能特性，是否达到优化目的，以及寻找下一个瓶颈点。案例 1：Spark 任务文件初
转载
2023-07-21 19:20:25
96阅读
一，hashshuffle最早引入的shuffle机制，spark2.0已经被弃用。运行时步骤： 1，spark根据key将结果hash到不同buffer； 2，map完成后buffer溢写到磁盘文件，一个buffer一个文件； 3，task拉取小文件；问题： 1，使用大量小文件，io频繁； 2，使用大量buffer内存，易出现oom。优化后的hashshuffle：Consolidate机制同一
转载
2023-10-21 23:03:55
100阅读
官网：http://spark.apache.org/docs/latest/tuning.html 1、引言 提到Spark与Hadoop的区别，基本最常说的就是Spark采用基于内存的计算方式，尽管这种方式对数据处理的效率很高，但也会往往引发各种各样的问题，Spark中常见的OOM等等。
原创
2021-07-22 11:21:27
959阅读
#记录一个坑#
在Spark中，有时需要对lzo压缩文件的读取。这里采用的是newAPIHadoopFile()来进行读取 val configuration = new Configuration()
configuration.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec
转载
2023-06-11 15:34:27
47阅读
Spark发生垃圾回收的原理：GC：garbage collector 垃圾回收executor是JVM中的服务进程。Spark任务运行的时候就是不断的在executor中创建对象。若JVM存不下对象了，就会触发GC（把不需要的对象清除）。 若内存中数据量较大，则可能会很频繁的发生GC，而GC本身很耗费性能，对Spark作业性能影响很大。 同时若数据量很大，那么GC一个涉及的数据量也很大，同样
转载
2023-11-24 09:26:12
53阅读
外部数据源实现的主要接口与类上一篇我们已经介绍了DataFrame构建的三种方法：RDD转DataFrame，Hive表，外部数据源。今天我们来重点介绍一下外部数据源是怎么实现的，以及我们将手动实现一个外部数据源。format().load()的调用方RelationProvider 我们在使用外部数据源时使用的语法是：val spark = SparkSession.builder().mast
转载
2023-09-23 17:45:01
61阅读
流处理中状态的概念流处理中，有个状态（state）的概念：无状态的：当前批次处理完之后，数据只与当前批次有关有状态的：前后批次的数据处理完之后，之间是有关系的官网的介绍： http://spark.apache.org/docs/latest/streaming-programming-guide.html#updatestatebykey-operationupdateStateByKey解读u
转载
2023-08-16 06:31:13
34阅读
Spark代码可读性与性能优化——示例六（GroupBy、ReduceByKey）1. 普通常见优化示例1.1 错误示例 groupByKeyimport org.apache.spark.{SparkConf, SparkContext}
object GroupNormal {
def main(args: Array[String]): Unit = {
val conf =
转载
2023-10-16 20:02:22
101阅读
1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.73.配置环境变量 HADOOP_HOME:D:\bigdata\hadoop-2.7.2 SPARK_HOME:D:\bigdata\spark-2.0.0-bin-hadoop2.7 Path中添加：%HADOOP_HOME%\bi
转载
2023-07-07 08:57:59
36阅读
