Secret：
Secret 对象类型用来保存敏感信息，例如密码、OAuth 令牌和 SSH 密钥。 将这些信息放在 secret 中比放在 Pod 的定义或者 容器镜像 中来说更加安全和灵活。
Secret 是一种包含少量敏感信息例如密码、令牌或密钥的对象。用户可以创建 Secret，同时系统也创建了一些 Secret。Secret种类：Service Account： 用来访问Kubernet
转载
2024-08-28 10:15:09
84阅读
Apache Spark On Kubernetes转载请注明来源：Spark提供快速的分布式计算能力，但其安装、部署和管理相对复杂，因此Spark on Kubernetes应运而生。该项目位于 https://github.com/apache-spark-on-k8s/spark, 包含 Apache Spark 的一份拷贝，支持直接在Kubernetes cluster上原生地运
转载
2023-09-27 12:03:44
72阅读
Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程Spark Demo过程中的常见问题（二）Spark的executor/driver怎么持久化日志Spark history server怎么配置生效Spark-operator namespace下的xxxxx-webhook是做什么的 Spark Demo过程中的常见问题（二）Spar
转载
2020-01-17 18:39:48
104阅读
如何在Kubernetes上运行Spark
随着大数据处理需求的增加，Apache Spark成为了处理大规模数据的流行选择。而在Kubernetes上运行Spark可以更好地管理资源，并实现弹性伸缩。本文将介绍如何在Kubernetes上运行Spark，帮助刚入行的小白快速上手。
整个过程可以分为以下步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 配置Kube
原创
2024-05-07 10:14:20
67阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
健康检查上节课我们和大家一起学习了Pod中容器的生命周期的两个钩子函数，PostStart与PreStop，其中PostStart是在容器创建后立即执行的，而PreStop这个钩子函数则是在容器终止之前执行的。除了上面这两个钩子函数以外，还有一项配置会影响到容器的生命周期的，那就是健康检查的探针。在Kubernetes集群当中，我们可以通过配置liveness probe（存活探针）和readin
转载
2023-10-16 22:49:51
96阅读
说明这次是使用的是1个master、2个node为的是模拟搭建环境，真实环境是多master(n>1) 且为奇数安装k8s的节点必须是大于1核心的CPU使用的系统centos7,6的话好多命名空间有很多不支持内核3.1以上才是较好的运行环境，最好是4.4内核以上网络采用Flannel(官方推荐)方式ps: 第2点是因为为了防止单节点故障,高可用一般都为3,5,7
###资料地址
链接: ht
原创
2023-05-06 18:18:20
142阅读
# Kubernetes搭建教程
## 1. 整体流程
下面是搭建Kubernetes的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1. 安装Docker | 安装和配置Docker容器引擎 |
| 2. 安装Kubernetes组件 | 安装和配置Kubernetes Master和Node组件 |
| 3. 初始化Kubernetes集群 | 初始化Kuberne
原创
2023-11-17 11:18:08
31阅读
@(kernetes虚拟化学习)[一、集群搭建] 一、集群搭建 ==== [TOC] 1、环境介绍及准备 1.1 物理机操作系统 物理机采用centos7操
搭建Kubernetes集群的流程及代码示例
作为一名经验丰富的开发者，我将帮助你了解如何搭建Kubernetes集群。下面是整个流程的步骤以及每一步所需的代码示例。
步骤1：准备环境
在开始之前，你需要确保已经安装了以下工具：
- Docker：用于构建和管理容器镜像。
- kubeadm：用于初始化集群。
- kubectl：用于与集群进行通信。
步骤2：初始化Master节点
要
原创
2024-02-01 15:58:19
82阅读
# 搭建Kubernetes
## 前言
作为一名经验丰富的开发者，我将带你一步步搭建Kubernetes。Kubernetes是一个用于自动化部署、扩展和管理容器化应用程序的开源系统。下面是整个搭建过程的步骤概述：
| 步骤 | 描述 |
|---|---|
| 1 | 安装Docker |
| 2 | 安装Kubernetes工具（kubectl，kubeadm，kubelet）|
| 3
原创
2023-10-03 06:01:07
33阅读
Kubernetes（k8s）是一个分布式系统，搭建需要一定的技术基础和实践经验。下面是一个详细的k8s搭建步骤：准备环境确认主机满足Kubernetes要求的最低硬件配置，并安装Docker、kubelet、kubeadm等软件。具体准备工作包括：确认操作系统版本：推荐使用Ubuntu 16.04及以上版本，CentOS 7及以上版本。安装Docker：在所有节点上安装Docker CE，并启动
转载
2023-09-01 23:55:26
62阅读
文章目录一、前言二、Centos最小化安装2.1 vmware最小化安装centos72.2 配置静态IP三、K8S集群搭建3.1 更新yum3.2 安装Docker3.3 修改hosts文件3.4 系统基础前提配置3.5 安装 kubeadm, kubelet and kubectl3.6 配置国内镜像3.7 kube init初始化master3.8 部署calico网络插件3.9 kube
转载
2023-08-28 20:54:01
284阅读
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
Kubernetes（简称K8S）和Spark都是目前非常流行的开源项目，用于容器编排和大数据处理。虽然它们都有着广泛的应用，但是它们的定位和功能还是有一些差别的。本文将围绕Kubernetes和Spark之间的区别展开介绍，并给出相关的代码示例。
首先，我们来看一下Kubernetes和Spark的概念和定位：
| | Kubernetes
原创
2024-01-17 09:23:25
125阅读
# Kubernetes 调度 Spark 的完整流程指南
在现代数据处理领域，Apache Spark 与 Kubernetes 的协同使用愈发受到欢迎。对于刚入行的小白来说，理解如何将 Spark 作业调度到 Kubernetes 上是非常重要的一步。本文将为您提供一个详细的步骤指南，帮助您实现“在 Kubernetes 上调度 Spark 作业”。
## 整体流程概览
下面是实现 Ku
# 使用 Kubernetes 安装 Apache Spark
Apache Spark 是一个强大的开源分布式计算框架，广泛用于大规模数据处理和分析。通过将 Spark 部署在 Kubernetes 上，您可以轻松地管理和扩展 Spark 应用程序。本文将介绍如何在 Kubernetes 中安装和配置 Apache Spark，并提供代码示例和流程图，以帮助您更好地理解。
## 前提条件
原创
2024-11-01 07:28:25
21阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。
一、准备
1、软件及版本 1.&n
转载
2024-06-18 13:22:42
97阅读
标题：使用Kubernetes部署Spark应用的详细步骤及代码示例
前言：
Kubernetes（简称为K8S）是一款开源的容器编排工具，它提供了一套功能完备的容器集群管理方案，帮助开发者更轻松地部署、扩展和管理容器化应用。在Kubernetes中，我们可以利用其强大的功能和易用的API，来实现高效部署和管理Spark应用程序。本文将详细介绍如何使用Kubernetes来部署Spark应用，并
原创
2024-01-16 14:46:12
115阅读
