Rancher文档 : Rancher Docs: Overview.rancher版本的兼容性 : Support matrix | SUSE.生成一个自签名证书 : RKE+helm+Rancher(2.5.9)环境搭建 - 追光D影子 由于项目的需要，本文搭建了一个在硬件设备上amd 64 和arm 64架构不同架构的k8s集群。在下面的目录中，第2步搭建基本系
转载
2024-04-17 14:50:33
76阅读
Kubernetes（简称K8S）是一个开源的容器编排引擎，可以帮助开发者更高效地管理、扩展和部署容器化的应用程序。而Apache Spark是一个用于大规模数据处理的开源集群计算框架。结合K8S和Spark可以更好地管理Spark集群资源，提高集群的利用率和稳定性。
下面我将向你介绍如何在K8S上管理Spark集群资源，以下是整个过程的步骤概述：
| 步骤 |
原创
2024-03-28 10:13:50
61阅读
在本文中，我们将探讨如何在Kubernetes（K8S）上部署Spark应用程序。Spark是一个用于大规模数据处理的快速通用计算引擎，而Kubernetes是一个用于容器编排和管理的开源平台。将Spark部署在Kubernetes上可以帮助我们更方便地管理和扩展Spark应用程序。
##### 步骤概览：
| 步骤 | 描述
原创
2024-01-31 12:33:02
57阅读
在介绍如何将Spark程序跑在Kubernetes (K8S) 上之前，让我们先简要了解一下什么是Spark和K8S。Spark是一个快速、通用、可扩展的大数据处理引擎，而K8S是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。
下面我们将详细介绍如何实现将Spark程序跑在K8S上，并帮助你入门。
### 操作流程
首先让我们看一下整个操作流程，让你对操作有一个清晰的了解：
|
原创
2024-03-14 10:08:51
79阅读
一 资源管理介绍资源，用户需要通过操作资源来管理k8s集群系统，用户可以在集群中部署各种服务，所谓的部署服务其实就是在k8s集群中运行一个个的容器，并将指定的程序跑在容器中。 k8s的最小管理单元不是容器而是pod，所以只能将容器放在pod中，而k8s一般也不会直接管理pod，而是通
目录1. 启用应用商店2. 应用模板开发的生命周期3. 自制应用模板（Helm Chart）4. 上传和提交应用模板5. 审核及发布应用模板6. 发布应用到应用商店7. 创建应用分类8. 部署应用8.1 部署方式1 - 从应用商店进行部署8.2 部署方式2 - 从项目中基于应用模版部署8.3 安装应用 1. 启用应用商店KubeSphere 集成了 OpenPitrix（一个跨云管理应用程序的开
转载
2024-01-08 12:24:54
53阅读
如果你对K8ssandra还感到比较陌生，这篇FAQ正是为你准备的01 什么是K8ssandra？K8ssandra是一个开源项目，这意味着社区中的每个人都可以使用、改进和享受这个项目。K8ssandra是运行在Kubernetes上的云原生的Apache Cassandra®发行版本。与Cassandra一起包括在K8ssandra里的，还有一整套能使运维任务更加简单和自动
转载
2024-05-10 23:59:40
35阅读
之前学习spark，最近需要在k8s集群上提交spark应用，学习过程中，记录了以下几点1.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和Controller MangerServer 所组成API Serve
转载
2023-08-08 12:38:47
293阅读
目录一、概述二、开始 Spark on k8s 运行原理三、Spark 运行模式1）cluster 模式2）client 模式四、开始Spark on k8s 编排1）下载Spark包2）构建镜像3）配置 spark 用户权限4）提交 Spark 任务（cluster 模式）5）配置spark历史服务器6）提交 Spark 任务（client 模式）1、配置 spark 用户权限2、准备独立Pod
转载
2023-07-18 22:31:13
206阅读
# 在 Kubernetes 上配置 Spark 的 HostAlias
在 Kubernetes (K8s) 上运行 Spark 时，我们有时需要对 Pod 使用 HostAlias 来配置主机名和IP的映射。这将帮助我们在集群中的不同服务之间实现无缝通信。本文将引导你通过一系列步骤，教会你如何在 Spark on K8s 中使用 HostAlias。
## 整体流程
以下是实现 Spar
原创
2024-10-19 07:26:15
72阅读
Kubernetes（简称K8s）是一个开源的容器编排引擎，可以帮助我们自动化部署、扩展和管理容器化应用程序。如果你想要将你的应用程序部署在K8s上，那么你来对地方了！下面我将分享给你如何实现在Kubernetes上部署应用程序的步骤以及相应的代码示例。
### 步骤
下面是部署在Kubernetes上的一般步骤，我们将通过这些步骤逐步完成部署过程。
| 步骤 | 操作 |
| ---- |
原创
2024-02-23 10:08:39
45阅读
### K8S上的Spark应用
#### 一、流程概述
在Kubernetes（K8S）集群上部署和运行Spark应用程序通常包括以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备Spark应用程序代码和依赖 |
| 2 | 创建Docker镜像 |
| 3 | 部署Spark集群 |
| 4 | 提交Spark应用 |
#### 二、具体步骤及代码示例
原创
2024-04-03 09:39:26
92阅读
标题：Spark运行在K8S上的全面指南
在本文中，我们将学习如何将Spark应用程序部署到Kubernetes上。Kubernetes是一个流行的容器编排平台，它可以帮助我们在集群中管理、部署和运行应用程序。Spark是一个强大的分布式计算框架，它可以处理大规模数据集并提供高性能的数据处理能力。
整个流程可以分为以下几个步骤：
| 步骤 | 描述
原创
2024-04-03 09:35:04
116阅读
本文介绍Spark On K8s的环境准备工作，并通过一个示例来演示如何提交Spark程序到K8s运行。一、环境准备 首先，本门课程使用的Spark版本为v3.2.3版本，Spark 3.x是当前主流在用的版本，它相比Spark 2.x增加了很多新功能新特性，性能也有大幅的提升。 其次，在实际应用中，为了规范Spark程序在K8s上的运行部署，通常将Spark的程序调度到指定的Namespa
转载
2023-11-17 19:31:15
419阅读
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴
转载
2023-11-01 10:23:29
123阅读
Spark在k8s中的数据本地性在k8s中，天然存在着数据隔离和网络隔离，这就造成了Spark在k8s中运行时，很难达到较好的数据本地性级别。常规意义上讲Spark的数据本地性，大部分是指的是Spark在读取数据时，第一个stage的数据本地性。这是由于Spark在读取数据时，首先会先去task执行位置寻找数据是否有缓存，其次会寻找数据是否存在优选位置【检查checkpointRDD的数据位置，主
转载
2023-10-19 12:02:00
114阅读
## Spark现在可以部署在Kubernetes上
### 概述
Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。Spark是一个用于大规模数据处理的开源分布式计算框架。将Spark部署在K8S上可以实现资源的高效利用和自动化管理。在本文中，我们将介绍如何将Spark部署在Kubernetes集群中。
### 步骤
下表列出了将Spark部署在K
原创
2024-02-28 17:02:01
102阅读
Spark部署K8S--standalone镜像准备使用上个博客 (Spark部署到K8S集群--Kubernetes Native)中构建的spark镜像，注意，镜像是重中之重。由于公司内网无法访问github, 镜像无法下载，需要自己构建。部署配置文件编制Namespace为了方便管理，新建一个namespace, namespace-spark-cluster.yamapiVers
转载
2023-07-04 09:38:11
298阅读
大数据之spark on k8sspark on k8s架构解析1.k8s的优点k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。1、故障迁移2、资源调度3、资源隔离4、负载均衡5、跨平台部署2.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Sch
转载
2023-08-02 10:37:12
280阅读
基于Kubernetes的Spark集群部署和测试一、构建Docker镜像二、在Kubernetes上创建Spark集群三、测试Spark的一个简单应用 Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭
转载
2023-11-19 21:28:55
236阅读
