K8S–Deployment使用1.Deployment概念 Deployment控制器为 Pod 和 ReplicaSet 提供了一个声明式更新的方法，在Deployment对象中描述一个期望的状态，Deployment控制器就会按照一定的控制速率把实际状态改成期望状态，通过定义一个Deployment控制器会创建一个新的ReplicaSets控制器，通过replicaset创建pod，删除De
转载
2024-01-17 08:26:15
58阅读
一. k8s 3种IPKubernetes集群里有三种IP地址，分别如下：Node IP：Node节点的IP地址，即物理网卡的IP地址。 Pod IP：Pod的IP地址，即docker容器的IP地址，此为虚拟IP地址。 Cluster IP：Service的IP地址，此为虚拟IP地址。Node IP 可以是物理机的IP（也可能是虚拟机IP）。每个Service都会在Node节点上开通一个端口，外部
转载
2023-11-11 20:15:13
89阅读
### 如何在Kubernetes中指定Docker用户
在Kubernetes中，我们经常需要为容器指定特定的用户权限。默认情况下，容器以root用户身份运行，这可能不是一个安全的选择。在本教程中，我将引导你完成如何在Kubernetes中指定Docker用户的过程。
#### 流程概述
以下是实现这个目标的主要步骤：
| 步骤 | 描述
在 Kubernetes 中，指定 Docker 用户是一个在容器启动时需要注意的配置项。本文将通过详细的内容结构，对问题进行深入的分析和解决，重点讨论如何在 Kubernetes 中指定 Docker 用户。
## 版本对比
在不同版本的 Kubernetes 中，Docker 用户的指定存在一些差异。以下是对 Kubernetes 版本 1.18、1.19 和 1.20 的对比，特别关注
Kubernetes（简称K8S）是一种用于自动化部署、扩展和管理容器化应用程序的开源平台。在Kubernetes中，用户可以通过指定容器的User标识来控制容器运行时的用户身份。本文将介绍如何在Kubernetes中创建容器并指定用户身份。
## 1. 创建一个Pod
在Kubernetes中，Pod是最小的部署单元，可以包含一个或多个容器。首先，我们需要创建一个Pod来承载我们的容器。
原创
2024-01-24 16:28:57
157阅读
文章目录简介项目部署历史演化Kubernetes的作用为什么需要Kubernetes？参考资料 简介Kubernetes 这个词的来源，是一个希腊词，意为舵手或飞行员。缩写K8s是通过用数字8替换“ ubernete ”的八个字母得到的。Kubernetes 是一个可移植的，可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。它拥有一个庞大且快速增长的生态系统（growi
转载
2024-05-04 10:15:19
46阅读
# Spark on K8s指定Namespace的使用指南
随着大数据的快速发展，Apache Spark逐渐成为处理大规模数据集的核心工具。结合Kubernetes（K8s），Spark的部署和管理变得更加简便。而在实际应用中，我们往往需要在Kubernetes的特定命名空间（namespace）中运行Spark作业。本文将详细介绍如何在K8s中指定Spark作业的命名空间，并提供相关代码示
原创
2024-10-12 04:56:05
60阅读
Kubernetes（K8S）是当前最流行的容器编排工具之一，能够帮助我们管理容器化的应用程序。在Kubernetes中，用户（user）扮演着非常重要的角色，在这篇文章中，我将向你展示如何在Kubernetes中创建一个用户。
**创建K8S用户的步骤：**
| 步骤 | 操作 |
|------|------|
| 1. | 生成用户的证书签名请求（Certificate Signin
原创
2024-03-06 13:44:18
59阅读
目录1. 启用应用商店2. 应用模板开发的生命周期3. 自制应用模板（Helm Chart）4. 上传和提交应用模板5. 审核及发布应用模板6. 发布应用到应用商店7. 创建应用分类8. 部署应用8.1 部署方式1 - 从应用商店进行部署8.2 部署方式2 - 从项目中基于应用模版部署8.3 安装应用 1. 启用应用商店KubeSphere 集成了 OpenPitrix（一个跨云管理应用程序的开
转载
2024-01-08 12:24:54
53阅读
之前学习spark，最近需要在k8s集群上提交spark应用，学习过程中，记录了以下几点1.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和Controller MangerServer 所组成API Serve
转载
2023-08-08 12:38:47
293阅读
目录一、概述二、开始 Spark on k8s 运行原理三、Spark 运行模式1）cluster 模式2）client 模式四、开始Spark on k8s 编排1）下载Spark包2）构建镜像3）配置 spark 用户权限4）提交 Spark 任务（cluster 模式）5）配置spark历史服务器6）提交 Spark 任务（client 模式）1、配置 spark 用户权限2、准备独立Pod
转载
2023-07-18 22:31:13
206阅读
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴
转载
2023-11-01 10:23:29
123阅读
本文介绍Spark On K8s的环境准备工作，并通过一个示例来演示如何提交Spark程序到K8s运行。一、环境准备 首先，本门课程使用的Spark版本为v3.2.3版本，Spark 3.x是当前主流在用的版本，它相比Spark 2.x增加了很多新功能新特性，性能也有大幅的提升。 其次，在实际应用中，为了规范Spark程序在K8s上的运行部署，通常将Spark的程序调度到指定的Namespa
转载
2023-11-17 19:31:15
416阅读
Spark在k8s中的数据本地性在k8s中，天然存在着数据隔离和网络隔离，这就造成了Spark在k8s中运行时，很难达到较好的数据本地性级别。常规意义上讲Spark的数据本地性，大部分是指的是Spark在读取数据时，第一个stage的数据本地性。这是由于Spark在读取数据时，首先会先去task执行位置寻找数据是否有缓存，其次会寻找数据是否存在优选位置【检查checkpointRDD的数据位置，主
转载
2023-10-19 12:02:00
114阅读
Kubernetes（K8s）是一种流行的容器编排引擎，用于自动化容器的部署、扩展和管理。在K8s中，管理用户（admin user）是拥有最高权限的用户，可以执行所有操作。下面我将详细介绍如何创建和配置一个K8s的管理用户。
### K8s创建管理用户流程
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建管理用户的证书和私钥 |
| 2 | 将证书和私钥转换为K8s需要的
原创
2024-03-12 09:43:47
116阅读
Kubernetes (K8S)是一个开源的容器编排系统，它可以用来自动化部署、扩展和管理容器化的应用程序。在K8S中，用户组（User Group）是用来管理用户和授权的重要概念。本文将介绍如何在Kubernetes中创建和管理用户组。
### K8S用户组创建流程
下面是创建K8S用户组的步骤及对应的操作描述：
| 步骤 | 操作 | 代码示例
原创
2024-03-20 09:50:17
86阅读
Spark部署K8S--standalone镜像准备使用上个博客 (Spark部署到K8S集群--Kubernetes Native)中构建的spark镜像，注意，镜像是重中之重。由于公司内网无法访问github, 镜像无法下载，需要自己构建。部署配置文件编制Namespace为了方便管理，新建一个namespace, namespace-spark-cluster.yamapiVers
转载
2023-07-04 09:38:11
298阅读
大数据之spark on k8sspark on k8s架构解析1.k8s的优点k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。1、故障迁移2、资源调度3、资源隔离4、负载均衡5、跨平台部署2.k8s集群架构Master Nodek8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由 API Server、Sch
转载
2023-08-02 10:37:12
278阅读
基于Kubernetes的Spark集群部署和测试一、构建Docker镜像二、在Kubernetes上创建Spark集群三、测试Spark的一个简单应用 Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭
转载
2023-11-19 21:28:55
234阅读
在Kubernetes（K8S）中，Service Account（SA）是一种用于识别Pod或其他工作负载以及它们对集群资源的权限的对象。SA拥有特定的角色和权限，以便Pod可以通过SA与Kubernetes API进行交互。
本文将详细介绍如何在Kubernetes中创建一个SA用户，并分配对应的权限，以实现"K8S sa user"的功能。
**步骤概述**:
| 步骤 | 描述
原创
2024-03-11 09:41:53
43阅读
