Spark性能优化的10大问题及其解决方案问题1：reduce task数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任务运行缓慢。问题2：shuffle磁盘IO时间长解决方式：设置spark.local.dir为多个磁
转载
2023-09-09 08:01:07
106阅读
# Spark History Server：流量监控与性能优化
Apache Spark 是一个强大的开源数据处理框架，广泛应用于大规模数据处理和分析。Spark History Server 是 Spark 提供的一个功能组件，用于监控和调试 Spark 作业。通过 History Server，用户能够查看已完成的作业的详细信息，帮助分析和优化性能。
## Spark History S
原创
2024-09-20 15:28:59
141阅读
文章目录Spark源码剖析——SparkSubmit提交流程当前环境与版本前言Shell命令部分参数解析 MainSparkSubmitStandalone模式的ClientAppON YARN模式的YarnClusterApplication Spark源码剖析——SparkSubmit提交流程当前环境与版本环境版本JDKjava version “1.8.0_231” (HotSpot)Sc
# 如何实现 Spark History Server 的合并时间
Spark History Server 允许用户查看 Spark 应用程序的历史数据，但有时需要合并多个应用程序的时间戳，以便于分析和查询。这篇文章将带你一步步了解如何实现 Spark History Server 的合并时间。
## 实现流程概览
以下是实现合并时间的基本流程：
| 步骤 | 描述
原创
2024-09-27 04:36:09
51阅读
Spark作为内存计算框架，需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存。总结为两大块：1，数据序列化；2，减少内存占用以及内存调优。 数据序列化Spark着眼于便利性和性能的一个平衡，Spark主要提供了两个序列化库：Java Serialization：默认情况，Java序列化很灵活但性能较差，同时序列化后占用的字节数也较多。Kryo Serialization：Kryo的序
转载
2023-10-08 07:19:30
129阅读
配置ConfigurationDefault ValueMeaningspark.driver.cores1Number of cores to use for the driver process, only in cluster mode. cluster模式下driver进程的核数，因为改模式下am和driver实为一体，故也是am的的核数。spark.yarn.am.cores1Numbe
转载
2024-05-29 00:09:46
209阅读
## 什么是CDH Spark History Server？
CDH Spark History Server是Cloudera Distribution for Hadoop（CDH）中的一个组件，用于存储和展示Spark应用程序的运行历史信息。当您在CDH集群上运行Spark应用程序时，Spark History Server会记录每个作业的执行结果、任务状态、日志和统计信息等。
Spa
原创
2024-04-30 04:18:11
55阅读
开发调优目录开发调优概述原则一：避免创建重复的RDD一个简单的例子原则二：尽可能复用同一个RDD一个简单的例子原则三：对多次使用的RDD进行持久化对多次使用的RDD进行持久化的代码示例Spark的持久化级别如何选择一种最合适的持久化策略原则四：尽量避免使用shuffle类算子Broadcast与map进行join代码示例原则五：使用map-side预聚合的shuffle操作原则六：使用高性能的算子
转载
2023-12-21 11:26:32
70阅读
在Spark Standalone集群模式下，Driver运行在客户端，所谓的客户端就是提交代码的那台机器。在Standalone模式下，角色包括：Driver(Client，这里的Client对应到Spark的代码中是AppClient吗？）如下图所示，Driver位于提交代码的那台机器(提交代码的机器是Client)，MasterWorker（Worker是一个进程，它其中会有多个Execut
转载
2023-08-16 19:57:12
71阅读
一文讲透sparkHistoryServer与yarnHistoryServer关系
原创
2024-02-22 17:44:36
70阅读
简介为了可以通过WebUI控制台页面来查看具体的运行细节，解决应用程序运行结束，无法继续查看监控集群信息。无法回顾运行的程序细节，配置开启spark.history服务.SparkHistoryServer可以很好地解决上面的问题。配置文件位置：$SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的，我们可以根据S
原创
2019-07-19 15:48:46
4086阅读
1评论
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题描述Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。2.问题复现1.分别使用root和ec2-user用户执行作业2.通过sparkHistoryServer可以正常查看到所有历史作业3.将/user/spark/applicationHis
原创
2018-11-19 16:40:50
986阅读
