一、kubeode作为kubernetes一键部署工具业界对比：
现在国内已经进入一个全新的云原生时代，目前kubeadm是大家很熟悉的部署工具。
二、kubeode项目诞生背景和项目使命
由于在"本土化"这块部署或许不是那么如意，我们开源一个一键部署工具：Kubeode，2022年中旬将近360人。
截至到2022-10-16，社区成员已增至475人，更多人在使用我们的工具。
为测试
转载
2023-11-20 08:36:26
71阅读
一、我的软件环境 二、Spark集群拓扑2.1、集群规模192.168.128.10 master 1.5G ~2G内存、20G硬盘、NAT、1~2核 ；
192.168.128.11 node1 1G内存、20G硬盘、NAT、1核
192.168.128.12 node2 1G内存、20G硬盘、NAT、1核
192.168.128.13 node3 1G内
转载
2023-11-02 12:40:49
139阅读
# 从头学习如何在K8S上部署Spark3
## 简介
在本文中，我们将探讨如何在Kubernetes（K8S）集群上部署Apache Spark 3。Spark是一个流行的开源大数据处理框架，而K8S是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。通过结合Spark和K8S，我们可以实现弹性、可伸缩的大数据处理能力。
## 步骤
| 步骤 | 描述 |
| ------ | --
原创
2024-04-02 10:33:10
22阅读
最近开始接触Spark，遇到了很多坑和困惑的地方，打算把它们写成一个文章系列，避免自己以后遗忘，更希望能帮助更多想学习Spark的人。本文所用的措辞若不另说明，则是根据自己的理解原创所得，具有一定的主观性，如果有的地方理解的不对还请各位不吝指出，在此感谢！一、Hadoop MapReduce和Spark简介、二者的区别与联系Hadoop MapReduce是一个分布式计算框架，稳定性好，普适性高，
转载
2024-10-11 19:44:12
74阅读
### K8S 2.0集群搭建指南
欢迎来到Kubernetes（K8S）2.0集群搭建指南！在本文中，我将向你展示如何用简单的步骤搭建一个Kubernetes 2.0集群。首先，我们需要了解整个搭建过程的流程，然后逐步进行实施。让我们开始吧！
#### 搭建流程
下表列出了Kubernetes 2.0集群搭建的步骤：
| 步骤 | 描述 |
原创
2024-03-19 10:39:16
163阅读
k8s 1.9集群搭建教程
=================================
## 简介
在本教程中，我们将学习如何搭建一个Kubernetes（k8s）1.9版本的集群。我们假设你已经具备一定的Linux和Docker的基础知识。通过本教程，你将掌握以下内容：
1. 安装Kubernetes集群的基本要求
2. 配置和安装集群的Master节点
3. 配置和安装集群的Wor
原创
2024-02-04 12:36:01
110阅读
标题：使用Spark3在K8S上安装及部署的详细步骤介绍
摘要：本文将详细介绍如何在Kubernetes（简称K8S）平台上安装和部署Spark3，以帮助刚入行的小白快速掌握相关知识。首先，我们将介绍整个过程的流程，并提供每个步骤所需的代码及注释。
## 1. Spark3在K8S上的安装和部署流程
下表列出了安装和部署Spark3在K8S平台上的步骤，接下来我们将逐一讲解每个步骤的操作和所
原创
2024-01-31 09:58:31
98阅读
本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。 论文地址http://www.cs.berkeley.edu/~matei/p
转载
2024-07-08 20:02:16
31阅读
Kubernetes实战第一步——手把手教你搭建k8s集群一、什么是Kubernetes？ 简单来说，它是一个大规模的容器编排系统，他的特性如下： ■ 服务发现和负载均衡 ■ 存储编排 ■ 自动部署和回滚 ■ 自动完成装箱计算 ■ 自我修复 ■ 密钥与配置管理 ■ 总结：Kubernetes 为你提供了一个可弹性运行分布式系统的框架，它会满足你的扩展要求、故障转移和部署模式等，例如
转载
2023-11-29 16:03:46
127阅读
apache kafka 微服务架构不是免费的午餐 ！ 微服务需要解耦，灵活，操作透明，数据感知和弹性。 过去几年的大多数材料仅讨论具有紧密耦合且不可扩展的技术（如REST / HTTP）的点对点体系结构。 这篇博客文章介绍了Apache Kafka，Kubernetes，Envoy，Linkerd和Istio等尖端技术，以实现云原生服务网格来解决这些挑战，并将微服务提升到规模，速度和效率的
Kubernetes (K8s) 是一个开源的容器编排平台，它可以帮助我们管理和运行容器化的应用程序。K8s 1.23 是 Kubernetes 的一个特定版本，本文将向初学者介绍如何在本地搭建一个 K8s 1.23 集群。下面是整个过程的步骤总览：
Step 1：安装 Docker 和 Minikube
Step 2：启动 Minikube 集群
Step 3：创建一个 Deployment
原创
2024-02-07 11:36:21
70阅读
基于K8s的容器云Paas平台应该是每个使用k8s的公司必须要做的一件事，今天我们尝试以应用为中心，采用搭积木的方式完成一个最小版本的容器云Paas平台的设计，Let's Go1. 基础功能我们期望是实现一个尽可能自助的服务，所以里面先不考虑一些诸如审批，之类的操作，在此部分我们要完成应用从打包到上线的关键流程1.1 镜像打包研发编写好代码，此时就要进行代码的生产环境部署，而部署的最小单元通常就是
转载
2023-08-23 09:27:18
230阅读
K8S Spark集群搭建指的是在Kubernetes集群中运行Apache Spark，以实现分布式计算。本文将通过详细的步骤和代码示例，教会小白如何搭建K8S Spark集群。
## 1. 安装Kubernetes
首先需要在本地或云服务器上安装一个Kubernetes集群。可以选择使用minikube来在本地运行一个单节点的Kubernetes集群，也可以选择使用云服务商提供的Kubern
原创
2024-01-29 13:11:46
74阅读
K8s搭建Spark集群
---
作为一位经验丰富的开发者，我将教会你如何使用Kubernetes（K8s）来搭建一个Spark集群。在本文中，我们将使用K8s来管理和调度Spark任务，并且使用Docker容器来运行Spark应用程序。
整体流程
---
下面是我们搭建Spark集群的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备Kubernetes集群
原创
2024-01-31 14:45:21
155阅读
在本文中，我将教你如何在Kubernetes（K8S）上搭建Nacos 2.0集群。Nacos是一个开源的服务发现、配置管理和服务管理平台，而Kubernetes是一个容器编排系统，可以帮助你管理容器化应用程序。
整个流程可以分为以下步骤：
| 步骤 | 操作 |
|------|--------------------------
原创
2024-03-06 12:11:41
154阅读
Rancher文档 : Rancher Docs: Overview.rancher版本的兼容性 : Support matrix | SUSE.生成一个自签名证书 : RKE+helm+Rancher(2.5.9)环境搭建 - 追光D影子 由于项目的需要，本文搭建了一个在硬件设备上amd 64 和arm 64架构不同架构的k8s集群。在下面的目录中，第2步搭建基本系
转载
2024-04-17 14:50:33
76阅读
# 在Kubernetes上部署Spark 3
部署Apache Spark 3到Kubernetes（k8s）是一个有挑战但也充满乐趣的过程。本文将为您提供从安装到运行Spark作业的逐步指南。我们将通过表格概述整个流程并详细解释每个环节。
## 部署步骤概览
以下是部署Spark到Kubernetes的主要步骤：
| 步骤 | 描述 |
|------|------|
| 1. 安装K
# 在Kubernetes上部署Spark 3的高可用性架构
## 引言
在微服务架构的世界里，Apache Spark是一个强大的分布式计算框架，用于大数据处理和分析。当将Spark部署在Kubernetes集群上时，确保高可用性（HA）是至关重要的。本文将指导你如何实现Kubernetes上Spark 3的高可用性部署。
## 流程概述
下面是实现高可用性Spark 3部署的整体步骤：
主要内容1 ELK概念2 K8S需要收集哪些日志3 ELK Stack日志方案4 容器中的日志怎么收集5 K8S平台中应用日志收集准备环境一套正常运行的k8s集群，kubeadm安装部署或者二进制部署即可ip地址角色备注192.168.73.136nfs192.168.73.138k8s-master192.168.73.139k8s-node01192.168.73.140k8s-node021
转载
2024-05-30 12:20:50
176阅读
新建EC2t2.medium操作系统是CentOS7.5.1804(x86_64)-withAWS_CLI_SSMandHVM-ami-0229f1a332c972082安全组全开，能上网系统初始化yuminstall-yvimyuminstall-ygityuminstall-ywgetsetenforce0sed-i's/enforcing/disabled/'/etc/sel
原创
2019-10-17 10:35:30
2606阅读
1评论
