一、k8s中的资源名称空间在kubernetes中主要的作用是做资源隔离，因此名称空间级别的资源只在当前名称空间下有效K8s 中所有的内容都抽象为资源， 资源实例化之后，叫做对象 1、名称空间级别（1）工作负载型资源( workload )： Pod、ReplicaSet、Deployment、StatefulSet、DaemonSet、Job、 CronJob ( Re
前言Kubernetes作为一个容器编排工具，同时也是集群管理工具。比如：这里的集群就包含了3台master节点服务器、3台worker节点服务器，即K8s对于这些节点服务器的管理。容器作为每一个资源使用单位，K8s需要将各种服务器资源合理分配给容器使用，以保证在容器的生命周期内有足够的资源供其使用。可以分成：独占资源、共享资源，这里的资源主要指CPU、内存。K8s会基于优先度和公平性来提高资
转载
2024-02-26 17:58:38
24阅读
目录1 资源管理介绍2 YAML语言介绍3 资源管理方式3.1 命令式对象管理3.2 命令式对象配置3.3 声明式对象配置1 资源管理介绍在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在
转载
2024-05-09 22:52:23
42阅读
# 如何实现K8S逻辑资源池
## 一、流程概述
在Kubernetes（K8S）中，逻辑资源池是一种资源管理组件，用于将节点资源划分为多个逻辑池，以便更灵活地管理资源分配。以下是实现K8S逻辑资源池的流程：
| 步骤 | 描述 |
|------|------|
| 1 | 创建逻辑资源池定义文件 |
| 2 | 部署逻辑资源池控制器 |
| 3 | 配置逻辑资源池策略 |
## 二、具
原创
2024-04-15 14:26:49
113阅读
在现代的云计算环境中，Kubernetes（k8s）与Apache Spark的结合提供了强大的数据处理能力。然而，当涉及到Spark与k8s的资源隔离时，很多开发者和运维人员经常面临一系列的挑战。本篇博文将围绕“k8s spark 资源隔离”问题的解决方案，包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化等多个要点进行详细记录。
### 版本对比
在对k8s与Spark进行资
# 从头开始学习如何在Kubernetes集群上为Spark应用程序分配资源
## 简介
在Kubernetes（简称为K8s）集群中运行Spark应用程序是一种常见的做法，因为它可以方便地管理资源分配和调度。在本文中，我将向您展示如何在Kubernetes集群中为Spark应用程序分配资源。
### 步骤概览
首先，让我们来看一下整个过程的步骤概览：
| 步骤 | 描述
原创
2024-04-12 11:16:48
31阅读
K8S资源池化是指将Kubernetes中的资源进行划分和管理，以确保资源的有效利用和优化。资源池化可以帮助我们更好地管理集群中的资源，避免资源浪费和提高集群的性能和稳定性。下面让我来介绍一下如何实现K8S资源池化的流程。
### K8S资源池化流程
在K8S中实现资源池化通常需要以下几个步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建Namespace |
|
原创
2024-04-09 11:19:41
125阅读
Kubernetes（k8s）是一个开源的容器编排引擎，用于自动化容器的部署、扩展和管理。在Kubernetes中，资源池的管理是非常重要的一部分，可以让我们更好地管理集群内的资源分配。本文将介绍如何在Kubernetes中管理资源池。
### 一、管理资源池的流程
为了更好地管理资源池，我们需要按照以下步骤进行操作：
| 步骤 | 操作 |
| ------ | ------ |
| 1 |
原创
2024-04-17 11:35:12
177阅读
Kubernetes（简称K8S）是一个开源的容器编排引擎，可以帮助开发者更高效地管理、扩展和部署容器化的应用程序。而Apache Spark是一个用于大规模数据处理的开源集群计算框架。结合K8S和Spark可以更好地管理Spark集群资源，提高集群的利用率和稳定性。
下面我将向你介绍如何在K8S上管理Spark集群资源，以下是整个过程的步骤概述：
| 步骤 |
原创
2024-03-28 10:13:50
61阅读
目录一、概述二、开始 Spark on k8s 运行原理三、Spark 运行模式1）cluster 模式2）client 模式四、开始Spark on k8s 编排1）下载Spark包2）构建镜像3）配置 spark 用户权限4）提交 Spark 任务（cluster 模式）5）配置spark历史服务器6）提交 Spark 任务（client 模式）1、配置 spark 用户权限2、准备独立Pod
转载
2023-07-18 22:31:13
206阅读
对于做程序的朋友来说优化是一个避免不了的话题，对于程序的优化可以从两个方面来入手，一个是CPU方面的优化，一个是GPU的优化。对于CPU与GPU的作用简单理解的话你可以暂时当做CUP是处理计算的、GPU是处理渲染的，例如程序中的一些计算啊逻辑处理啊都是由CPU来处理的。我们程序的显示啊、特效等一切看到的东西都是GPU来处理的。当然他们的关系不单单如此，扯远了哈，我们这篇博客主要讲CPU优化方面的对
转载
2024-04-04 09:45:16
163阅读
之前学习spark，最近需要在k8s集群上提交spark应用，学习过程中，记录了以下几点1.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和Controller MangerServer 所组成API Serve
转载
2023-08-08 12:38:47
293阅读
大数据之spark on k8sspark on k8s架构解析1.k8s的优点k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。1、故障迁移2、资源调度3、资源隔离4、负载均衡5、跨平台部署2.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Sch
转载
2023-08-02 10:37:12
280阅读
Spark部署K8S--standalone镜像准备使用上个博客 (Spark部署到K8S集群--Kubernetes Native)中构建的spark镜像，注意，镜像是重中之重。由于公司内网无法访问github, 镜像无法下载，需要自己构建。部署配置文件编制Namespace为了方便管理，新建一个namespace, namespace-spark-cluster.yamapiVers
转载
2023-07-04 09:38:11
298阅读
在Kubernetes（简称K8s）中，如果我们需要实现不同K8s资源池node之间的通信，我们需要进行一些特定的配置和操作。下面我将详细介绍具体的步骤，并提供相应的代码示例，以便你能够轻松理解和实现。
### 实现不同K8s资源池node通信的流程
下面是实现不同K8s资源池node通信的具体步骤：
| 步骤 | 操作 |
| -----|------|
| 1.创建跨节点网络 | 部署CN
原创
2024-03-22 11:34:04
94阅读
Spark在k8s中的数据本地性在k8s中，天然存在着数据隔离和网络隔离，这就造成了Spark在k8s中运行时，很难达到较好的数据本地性级别。常规意义上讲Spark的数据本地性，大部分是指的是Spark在读取数据时，第一个stage的数据本地性。这是由于Spark在读取数据时，首先会先去task执行位置寻找数据是否有缓存，其次会寻找数据是否存在优选位置【检查checkpointRDD的数据位置，主
转载
2023-10-19 12:02:00
114阅读
本文介绍Spark On K8s的环境准备工作，并通过一个示例来演示如何提交Spark程序到K8s运行。一、环境准备 首先，本门课程使用的Spark版本为v3.2.3版本，Spark 3.x是当前主流在用的版本，它相比Spark 2.x增加了很多新功能新特性，性能也有大幅的提升。 其次，在实际应用中，为了规范Spark程序在K8s上的运行部署，通常将Spark的程序调度到指定的Namespa
转载
2023-11-17 19:31:15
416阅读
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴
转载
2023-11-01 10:23:29
123阅读
基于Kubernetes的Spark集群部署和测试一、构建Docker镜像二、在Kubernetes上创建Spark集群三、测试Spark的一个简单应用 Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭
转载
2023-11-19 21:28:55
234阅读
管理容器的计算资源参考文档： Kubernetes Managing Compute Resources for Containers(opens new window)https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/概述在 Kubernetes 中创建工作负载时，您
转载
2024-03-01 23:11:19
113阅读
