目录版本要求启动 minikube安装 Helm使用 helm 安装 spark-operator提交 spark 任务Schedule 机制Metric版本要求Spark 官方没有开发 Spark Operator，现在是由 Google 开发的这个 Operator 使用的 Spark on K8S 方案和 Spark 官方一样，只是包了一层，使得可以像声明其他 K8S 的应用（比如声明 Se
转载
2023-11-18 17:36:21
124阅读
上图展示了Spark的架构的简单示意。我们不妨先这样认识Spark，它有几个重要的部分：Master Node：它是集群部署时候的概念，是整个集群的控制器，负责集群的正常运行，管理Worker Node。Worker Node：它是计算节点，会接收Master Node的命令，并进行状态汇报。Executors：每个Worker Node上都有一个Executor，它负责完成任务的执行，是一个线程
转载
2023-12-15 14:24:57
54阅读
Spark 要点总结及优化
转载
2019-10-30 09:20:00
221阅读
目录1 两种模式区别1.1 client 模式1.2 cluster 模式1.3 两者比较2 Spark on YARN2.1 YARN Client 模式2.2 YARN Cluster 模式3 MAIN函数代码执行4 再续 Spark 应用1 两种模式区别Spark Application提交运行时部署模式Deploy Mode，表示的是Driver Program运行的地方，要么是提交应用的
转载
2023-08-03 20:46:10
94阅读
在 Apache Spark 的架构中，Spark Worker 和 Spark Engine 扮演着至关重要的角色。Spark Worker 是任务执行的工作节点，而 Spark Engine 是负责协调和调度的控制节点。在这篇博文中，我们将深入探讨二者的作用以及它们之间的关系，并提供实用的指导和案例，帮助你更好地理解和使用 Spark。
## 版本对比
在不同版本的 Spark 中，Spa
在spark给出的闭包清理器中的代码注释中，关于闭包的例子，给出了一个类作为例子，稍作修改如下。class SomethingNotSerializable {
def someMethod(): Unit = scope("one") {
def y = someValue
scope("two") {
println(y + 1)
}
}
d
转载
2024-04-02 12:53:46
58阅读
想要明白workers，首先需要明白node是怎样构成的。当一个node进程开始，它其实是: 一个进程。 一个线程。 一个事件轮垂。 一个js引擎实例。 一个node.js实例。 一个进程：是指一个全局对象，这个对象能够访问任何地方，并且包含当前处理时的此时信息。 一个线程：单线程意味着单位时间内只
转载
2020-12-12 15:03:00
600阅读
2评论
1. 前言Spark中存在大量的角色和阶段，如Master\Worker、Driver\Executor、Job\Stage\Task等，本节主要是讲解这些角色的含义和之间的关系。2. 角色概念角色名称解释Master常驻master守护进程，负责管理worker节点，从master节点提交应用。Worker常驻worker守护进程，与master节点通信，并且管理executor进程。运行一个或
转载
2024-01-03 11:03:23
80阅读
standalone模式启动集群命令详解在启动集群（master进程和worker进程）的时候，大家回忆一下，我们用的是哪个命令，用的是sbin/start-all.sh脚本 这个脚本一旦执行，就会直接在集群（节点，部署了spark安装包）中，启动master进程和所有worker进程 sbin/start-all.sh脚本，其实是用来便捷地快速启动整个spark standalone集群的 我们
转载
2023-06-19 11:01:59
341阅读
企业的经营管理如同太空中的行星一样有自己的轨道，遵循一定的规律；也就是说企业在经营管理过程中，其业务受外部社会环境、市场环境以及企业自身内部环境的约束，按照一定的业务规则运行。业务按照一定的业务规则运行就形成了业务流程。 换言之，在日常业务处理（或工作）过程中，每一种业务（或每一项工作）都是由（或都可分为）几个业务（或工作
刚刚接触Spark的时候对这些概念没有好好思考，走马观花似的扫过去了，后面碰到master、worker、executor和driver的时候，也就没想太多，最近刚刚跑通了一个spark项目，准备好好研究一下程序的运行原理，却突然发现对于master、worker、executor和driver一知半解，对这些概念没有很好地理解，实在难以深入学习spark，于是，查了一些资料，做了一些简单的记载供
转载
2023-11-10 10:27:48
154阅读
spark应用涉及的一些基本概念：1.mater:主要是控制、管理和监督整个spark集群2.client：客户端，将用应用程序提交，记录着要业务运行逻辑和master通讯。3.sparkContext：spark应用程序的入口，负责调度各个运算资源，协调各个work node上的Executor。主要是一些记录信息，记录谁运行的，运行的情况如何等。这也是为什么编程的时候必须要创建一个sparkC
转载
2023-08-08 11:29:09
809阅读
环境：spark 2.3.3scala 2.11.8Java 1.8.0_141可以参考【Spark Master启动流程及源码详解】${SPARK_HOME}/sbin/start-slaves.sh# Launch the slaves
"${SPARK_HOME}/sbin/slaves.sh" cd "${SPARK_HOME}" \; "${SPARK_HOME}/sbin/start
转载
2024-03-03 13:30:25
45阅读
Redis 采用事件驱动机制来处理大量的网络IO。它并没有使用 libevent 或者 libev 这样的成熟开源方案，而是自己实现一个非常简洁的事件驱动库 ae_event。 Redis中的事件驱动库只关注网络IO，以及定时器。该事件库处理下面两类事件：文件事件(file event)：用于处理 Redis 服务器和客户端之间的网络IO。时间事件(time eveat)：Redis
转载
2023-12-24 08:52:08
24阅读
kubectl get nodes NAME STATUS ROLES AGE VERSION i-6fns0nua Ready master 6d3h v1.15.2 i-m69skuyd Ready <none> 6d2h v1.15.2 kubectl label node i-m69skuy
原创
2024-08-15 11:44:05
34阅读
# 如何实现Spark重启Worker
## 1. 流程图
```mermaid
stateDiagram
[*] --> 开始
开始 --> 停止Worker
停止Worker --> 启动Worker
启动Worker --> [*]
```
## 2. 关系图
```mermaid
erDiagram
WORKER -- RESTART
```
原创
2024-04-11 05:35:39
49阅读
在数据处理和计算分析的环境中，Apache Spark 的 Worker 节点是执行任务的关键组件。然而，时常会出现“重启 Spark Worker”的情况，这需要及时处理以确保集群的稳定性与效率。本文将详细介绍如何解决重启 Spark Worker 的问题，涵盖从环境准备到排错指引的全面内容。
### 环境准备
在处理 Spark Worker 重启问题之前，首先需要准备相应的软硬件环境。
版本：Apache Hadoop 2.7.2 一、虚拟机环境准备1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP网卡配置文件位置： /etc/sysconfig/network-scripts/ifcfg-eth0地址和Mac地址绑定的文件： /etc/udev/rules
# 实现"spark dead worker"的步骤和代码解析
## 1. 简介
在Spark集群中，当一个工作节点（worker）发生故障或不可用时，我们需要处理这个问题并重新启动一个新的工作节点来替代它。这个过程被称为"spark dead worker"。本篇文章将介绍如何实现这个过程，并提供详细的步骤和代码解析。
## 2. 实现步骤
下面是实现"spark dead worker
原创
2023-09-23 16:51:39
59阅读
# Spark没有Worker：原因与解决方案
Apache Spark 是一个用于大规模数据处理的开源框架，能够使得数据分析变得简单高效。Spark的组件中，Worker节点负责执行任务，但是有时候我们会遇到“Spark没有Worker”的问题。这通常会导致任务无法执行，从而影响我们的数据处理效率。本文将探讨“Spark没有Worker”的原因及其排查方法，同时提供一些代码示例和图表，帮助读者
