1.什么是Kubernetes? Kubernetes(通常简称为K8S，即是将8个字母“ubernete”替换成“8”的缩写)是一个以容器为中心的基础架构。可以实现在物理集群或者虚拟集群上调度和运行容器，提供容器自动部署、扩展和管理的开源平台。2.什么是k8s? k8s是一个docker集群的管理工具。k8s是容器的编排工具。k8s是容器的管理平台。3.k8s的核心功能 自愈（Self-heal
转载
2024-04-20 20:01:34
8阅读
# 使用Spark Driver运行Kubernetes Job
如果你想在Kubernetes上运行Spark任务，你可能会遇到需要将Spark Driver作为一个Kubernetes Job来运行的情况。在本篇文章中，我们将详细介绍如何实现这一过程，并且提供代码示例以便于理解。
## 实现流程
首先，让我们来看一下实现这个过程的步骤：
| 步骤 | 描述
原创
2024-04-09 09:56:34
51阅读
# 如何实现"spark k8s driver am"
## 概述
在这篇文章中，我将向您展示如何实现“spark k8s driver am”。作为一名经验丰富的开发者，我将指导您完成整个过程，并提供详细的步骤和代码示例。
## 流程图
```mermaid
journey
title 实现"spark k8s driver am"流程
section 开始
如何实现
原创
2024-03-16 06:29:35
21阅读
在 Kubernetes 中使用 Spark 时，查看 Driver 日志是一个常见的问题。在这篇博文中，我会分享解决“k8s spark 查看driver 日志”问题的过程，涵盖版本对比、迁移指南、兼容性处理、实战案例、排错指南、生态扩展等多个方面。
## 版本对比
不同版本的 Spark 在日志管理上有一些特性差异。以下是版本间的特性对比和时间轴。
| 版本 | 特性
文章目录Pod LifeclePod的阶段:Pod phase容器的状态:Container states容器的探针:Container probes重启策略：restartPolicyPod删除Pod的回收参考资料 Pod LifeclePod的阶段:Pod phase相关字段：.status.phase phase表示一个Pod处于其生命周期的哪个阶段，一共有以下5个可能的取值：Pendin
转载
2024-09-21 10:14:53
65阅读
跟踪代码发现由于配置的pluginName都是同一个name应用在了不同的extensonPoint上，所以在初始化的时候被覆盖掉。 func (f *framework) pluginsNeeded(plugins *config.Plugins) map[string]config.Plugin {
pgMap := make(map[string]config.Plugin)
转载
2023-06-30 09:40:09
39阅读
目录一、概述二、开始 Spark on k8s 运行原理三、Spark 运行模式1）cluster 模式2）client 模式四、开始Spark on k8s 编排1）下载Spark包2）构建镜像3）配置 spark 用户权限4）提交 Spark 任务（cluster 模式）5）配置spark历史服务器6）提交 Spark 任务（client 模式）1、配置 spark 用户权限2、准备独立Pod
转载
2023-07-18 22:31:13
202阅读
之前学习spark，最近需要在k8s集群上提交spark应用，学习过程中，记录了以下几点1.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和Controller MangerServer 所组成API Serve
转载
2023-08-08 12:38:47
291阅读
# 从头开始学习K8S Storage Driver
作为一名经验丰富的开发者，我明白学习K8S Storage Driver对于新手来说可能会有一些困难。在这篇文章中，我将向您介绍如何实现K8S Storage Driver，并为您提供代码示例来帮助您更好地理解。
## 整体流程
在学习K8S Storage Driver之前，让我们先了解一下整个过程。下表展示了实现K8S Storage
原创
2024-03-08 12:07:36
63阅读
Log Driver在Kubernetes中是一个非常重要的概念，它负责管理和收集容器中生成的日志，并将其发送到指定的目的地。对于刚入行的小白来说，理解并实现Log Driver K8S可能是一个有些困难的任务。下面我将带你一步一步学习如何实现Log Driver K8S，并附上代码示例。
### 实现Log Driver K8S的流程
首先，我们来看一下实现Log Driver K8S的一般
原创
2024-03-12 11:15:37
58阅读
如何实现K8S Volume Driver
Kubernetes（K8S）是一个开源的容器编排工具，它提供了许多功能来管理容器化应用程序的部署和运行，其中之一就是Volume Driver。Volume是K8S中用于持久化数据的解决方案，在这篇文章中，我将向你介绍如何实现K8S Volume Driver。
步骤概览：
| 步骤 | 描述
原创
2024-03-19 11:07:36
34阅读
Kubernetes (K8s)是一个用于自动部署、扩展和管理容器化应用程序的开源平台。在K8s中，CSI（Container Storage Interface）标准定义了一种插件机制，允许存储供应商为Kubernetes提供可插拔的卷驱动程序。在这篇文章中，我们将讨论如何实现K8s CSI驱动程序。
### 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 编写C
原创
2024-03-11 13:33:07
194阅读
# 学习如何在 Kubernetes 上启动 Spark Driver
在这篇文章中，我们将讨论如何在 Kubernetes (K8s) 环境中启动 Spark 的 Driver。作为一名新手开发者，这个过程可能会显得有些复杂，因此我们将通过清晰的步骤和代码示例来逐步引导你。
## 流程概述
启动 Spark Driver 的工作流程如下表所示：
| 步骤 | 操作 | 说明 |
|---
kubernetes源码解析---- apiserver路由构建解析(2)上文主要对go-restful这个包进行了简单的介绍，下面我们通过阅读代码来理解apiserver路由的详细构建过程。(kubernetes代码版本：1.3.6 Commit id：ed3a29bd6aeb)从启动位置main函数开始（kubernetes\cmd\kube-apiserver\apiserver.g
转载
2024-10-13 23:47:06
34阅读
# Spark K8s 模式中的 Driver 运行位置
## 简介
在 Spark 中，Driver 是作业的主节点，负责管理整个作业的执行。在 K8s 模式下，我们需要确定 Driver 运行的位置，以便配置集群资源和调度任务。
## Driver 运行位置流程
下面是确定 Spark K8s 模式中 Driver 运行位置的流程：
| 步骤 | 描述 |
| --- | --- |
原创
2023-09-03 13:14:17
86阅读
Spark部署K8S--standalone镜像准备使用上个博客 (Spark部署到K8S集群--Kubernetes Native)中构建的spark镜像，注意，镜像是重中之重。由于公司内网无法访问github, 镜像无法下载，需要自己构建。部署配置文件编制Namespace为了方便管理，新建一个namespace, namespace-spark-cluster.yamapiVers
转载
2023-07-04 09:38:11
298阅读
大数据之spark on k8sspark on k8s架构解析1.k8s的优点k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。1、故障迁移2、资源调度3、资源隔离4、负载均衡5、跨平台部署2.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Sch
转载
2023-08-02 10:37:12
278阅读
1、概述在pod进行调度的时候，如果使用了节点的亲和性，那么就会在调度的时候，调度到具有某些标签的节点上，这个是从pod的角度来说的，同时呢，也可以从节点node的角度出发来定义什么样的pod可以被调度到这个节点上。在k8s中，可以通过taints和toleration的一起使用来达到这个目的。2、在节点上配置taints（污点）2.1、语法在节点上设置taintskubectl taint no
转载
2024-02-28 16:04:09
28阅读
基于Kubernetes的Spark集群部署和测试一、构建Docker镜像二、在Kubernetes上创建Spark集群三、测试Spark的一个简单应用 Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭
转载
2023-11-19 21:28:55
234阅读
本文介绍Spark On K8s的环境准备工作，并通过一个示例来演示如何提交Spark程序到K8s运行。一、环境准备 首先，本门课程使用的Spark版本为v3.2.3版本，Spark 3.x是当前主流在用的版本，它相比Spark 2.x增加了很多新功能新特性，性能也有大幅的提升。 其次，在实际应用中，为了规范Spark程序在K8s上的运行部署，通常将Spark的程序调度到指定的Namespa
转载
2023-11-17 19:31:15
416阅读
