最近使用Openfire和Spark做一个即时通讯客户端，想着自己能够做一个群聊的插件，所以需要自己去搭建环境，下面记录一下步骤以及遇到错误的解决办法（官网有点坑）。准备工作 Sparkplug Kit下载：
sparkplug_kit_2_0_7.zip
Sparkplug Kit文档：Development Guide官方demo 插件Jar：examples.jar这个jar解
Spark性能调优手段：判断内存消耗：设置RDD并行度，将RDD cache到内存，通过BlockManagerMasterActor添加RDD到memory中的日志查看每个partition占了多少内存，最后乘以partition数量，即是RDD内存占用量。1.Shuffle调优（核心）a.consolidation机制，使shuffleMapTask端写磁盘的文件数量减少，resultTask
转载
2023-08-01 15:22:31
116阅读
JVM调优有许多参数优化，下面整理了一些我自己能够理解的参数-XX:AutoBoxCacheMax-XX:+AlwaysPreTouchCMSInitiatingOccupancyFractionMaxTenuringThresholdExplicitGCInvokesConcurrent-Xmx, -XmsNewRatio-XX:AutoBoxCacheMaxJAVA进程启动的时候,会加载rt.
http://kafka.apache.org/documentation.html#configuration Broker Configs4个必填参数，broker.id Each broker is uniquely identified by a non-negative integer id broker唯一标识，broker可以在不同的host或port，但必须保证id唯一l
详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式(deploy-mode)不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一件事情，就是向集群管理器(可以是Spark Stand
Spark的一些配置总结配置总结： 集群内存总量：(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)----------------------------------------------
转载
2023-08-26 12:57:00
97阅读
Spark作业性能调优总结前段时间在集群上运行Spark作业，但是发现作业运行到某个stage之后就卡住了，之后也不再有日志输出。于是开始着手对作业进行调优，下面是遇到的问题和解决过程：运行时错误Out Of Memory: Java heap space / GC overhead limit exceeded使用yarn logs -applicationId=appliation_xxx_x
# 实现Spark GC的流程
## 一、整体流程
首先，我们来了解一下实现Spark GC的整体流程。下面是整个流程的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
| 第一步 | 设置Spark的垃圾回收策略 |
| 第二步 | 创建RDD（弹性分布式数据集） |
| 第三步 | 执行一系列的转换操作 |
| 第四步 | 缓存RDD |
| 第五步 | 执行actio
Spark参数配置大全 Spark提供了三个位置来配置系统Spark属性控制大多数应用程序参数，可以使用SparkConf对象或Java系统属性来设置。 通过conf/spark-env.sh每个节点上的脚本，环境变量可用于设置每台计算机的设置，例如IP地址。 可以通过配置日志log4j.properties。Spark属性Spark属性控制大多数应用程序设置，并分别为每个应用程序配置。
前言Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数spark.executor.cores该参数表示每个
转载
2023-08-05 00:45:15
246阅读
# Spark参数配置指南
## 引言
在使用Spark进行大数据处理时，合理的参数配置对于任务的性能和效果至关重要。本文将介绍Spark参数配置的步骤和代码示例，并解释每个参数的含义和作用。
## 流程图
以下是配置Spark参数的流程图：
```flow
st=>start: 开始
op1=>operation: 创建SparkSession
op2=>operation: 设置参数
o
原创
2023-08-13 07:41:32
103阅读
1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如：val conf = new SparkConf()
.setMaste
转载
2023-06-11 14:56:19
126阅读
之前一直在使用spark，对于spark的参数设置了解过部分。最近当被同事问起时，感觉自己又有点模糊。 好记性不如烂笔头。spark-submit的参数设置spark的运行模式有多种，这边就yarn提交的任务进行说明： 正常用到的参数如下：/bin/spark-submit –master yarn-cluster –num-executors 100 –executor-memory
转载
2023-08-05 16:57:01
304阅读
spark 参数详解spark参数配置优先级：SparkConf > CLI > spark-defaults.conf > spak-env.sh查看Spark属性：在 http://<driver>:4040 上的应用程序Web UI在 Environment 标签中列出了所有的Spark属性。spark-defaults.conf:(1) spark.maste
转载
2023-09-16 14:13:59
547阅读
1 spark 提交主要参数1.1 num-executors此数量代表 spark的executors数量， 所有的task在executor中运行。1.2 executor-cores 此数值代表每个 executor中可以并行运行的task数。 一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。1.3 executor-memory此参数指定了每个
转载
2023-08-17 17:02:32
185阅读
一、概述垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理，因此，我们的内存垃圾回收主要集中于 java 堆和方法区中，在程序运行期间，这部分内存的分配和使
【Spark2运算效率】【Spark2运算效率】第四节 影响生产集群运算效率的原因之数据倾斜前言倾斜实例治理过程结语跳转 前言当ETL调度任务所能拥有的资源能够满足其在较为资源冗余的状况下实施运算，长时间的运算过程中可能是涉及了数据倾斜的现象；数据倾斜可以说是分布式运算中不可避免的一种现象，这种现象带来的后果就是任务执行时长会随着倾斜度的增加而变长，甚至会有Fail的风险（任务重跑）； 不管是任
转载
2023-08-24 11:19:18
457阅读
Apache Spark由于其出色的性能、简单的接口和丰富的分析和计算库而获得了广泛的行业应用。与大数据生态系统中的许多项目一样，Spark在Java虚拟机(JVM)上运行。因为Spark可以在内存中存储大量数据，因此它主要依赖于Java的内存管理和垃圾收集(GC)。但是现在，了解Java的GC选项和参数的用户可以调优他们的Spark应用程序的最佳性能。本文描述了如何为Spark配置JVM的垃圾收
转载
2023-07-12 15:18:21
1019阅读
本篇博客是看了别人的博客然后根据自己的理解整理了出来的笔记，发出来大家交流学习，如果有不足的地方请大家指正，大家也可以直接去源博客那里看，源博客写的真的很好 。 源博客地址：http://www.ibm.com/developerworks/cn/java/j-lo-spring-boot/#ibm-pcon
一、简介
1> Spring Boot 提供了命令行工具来运行
基础的一些参数：--executor-cores 2（每台机器核数）--num-executors 20 （executor 节点数，不要太多5-20，如果程序涉及数据交换较多，节点数过多会，大量shuffle write需要跨机器网络传输数据，影响实际执行效率；同时与集群资源有关，申请资源需要合理，不要影响其他业务；集群网络不佳时，节点数过多会扩大对执行效率的影响）--driver-
转载
2023-07-13 20:12:44
110阅读
