目录前言简介k8s架构Master（管理节点）Node（计算节点）API SERVER（授权）Scheduler（资源调度）Controller Manager（控制管理中心）POD（资源池）LABEL（标签）Replication Controller，RCk8s组件 前言k8s中文社区：https://www.kubernetes.org.cn/简介Kubernetes与较早的集群管理系统M
转载
2023-09-04 10:51:18
670阅读
相信很多朋友在学习K8S的时候，能够借助yaml文档把自己的应用部署到K8S集群上，但是对于K8S内部的技术细节和实现原理并不了解，而这恰恰正是我们作为开发者提升技术所欠缺的东西。那么今天我们就来简单总结一下K8S的基本架构和其中的各个组件的概念和原理。在开始正式介绍K8S之前，我们首先要搞明白一个问题：K8S是用来干什么的？一、 Kubernetes概况首先，熟悉网购的朋友可能都知道，每年的双十
转载
2023-08-02 21:39:55
89阅读
在Kubernetes集群中部署YARN（Yet Another Resource Negotiator）是一个常见的工作，通过这篇文章，我将向你解释如何在Kubernetes上部署YARN。首先，让我们先了解一下整个过程，然后逐步介绍每个步骤所需的代码示例。
### 流程概览
下表展示了在Kubernetes上部署YARN的主要步骤：
| 步骤 | 操作
原创
2024-03-05 13:40:57
57阅读
# YARN和Kubernetes（K8S）的对比与应用
## 引言
随着大数据和容器化技术的发展，YARN和Kubernetes（简称K8S）成为了当前最为流行的两个资源管理和调度平台。本文将对YARN和K8S进行对比，并结合代码示例介绍它们的基本用法和应用场景。
## YARN与K8S的概述
### YARN
YARN（Yet Another Resource Negotiator）是Ap
原创
2023-10-22 11:08:38
245阅读
## 实现“k8s yarn”的步骤
为了实现“k8s yarn”，我们需要经过以下几个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 配置Kubernetes集群 |
| 步骤二 | 部署YARN服务 |
| 步骤三 | 部署应用程序 |
下面我们将分别介绍每一步需要做什么以及相应的代码。
### 步骤一：配置Kubernetes集群
在这一步中，我们需
原创
2023-11-08 07:13:38
118阅读
总结下来就几点：1、Native模式比Standalone模式好Standalone模式需要提前确认好每个任务需要使用的资源，并在配置文件里面配置，每一个任务都是固定资源大小，申请多了浪费，少了怕出问题。Native模式不需要预先确定需要使用的资源数量，系统会实时根据任务需要自动去k8s集群申请能申请到的资源。2、Application和Session模式各有优劣，不同情况使用不同模式Applic
转载
2023-07-28 10:55:32
1181阅读
-----------------------------------------一 .Flink 架构概览1.1. Job1.2. JobManager1.3. TaskManager1.4. Flink 运行时相关组件二 .Flink on Yarn 原理及实践2.1. Yarn 架构原理–总览2.2. Yarn 架构原理–组件2.3. Yarn 架构原理–交互2.4. Flink on Y
转载
2023-08-22 11:16:19
257阅读
在介绍如何实现"k8s on yarn"之前，首先需要了解什么是K8S和YARN。Kubernetes（K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源系统。而YARN是Apache Hadoop生态系统的资源调度和管理框架，用于支持Hadoop中的分布式处理。
实现"k8s on yarn"其实是将Kubernetes集群部署在YARN集群中，这样可以利用YARN的资源管理功能来管理
原创
2024-03-19 10:59:12
30阅读
简言： k8s yaml中文件内容一般有kind类型之分，每种类型有不同的功能（一般用---符号隔开）常见的kind类型： （1）Endpoints：Endpoints可以把外部的链接到k8s系统中（可以理解为引
转载
2023-12-17 14:41:59
52阅读
一、镜像的检测镜像中包含程序，其中也可能包含漏洞，所以我们需要检查镜像中是否存在漏洞。首先，准备一台装有docker的设备，提前拉取nginx和redis镜像做检查。docker pull nginx
docker pull redis接着下载Trivy这个工具。Trivy是一个简单而全面的扫描器，用于检测容器镜像、文件系统和 Git 存储库中的漏洞，以及配置问题。 Trivy检测操作系统包（Al
转载
2023-08-21 10:40:05
11阅读
Flink在k8s生产环境高可用部署flink: 1.10.1kubernetes: 1.18.81 前言目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN还是On K
转载
2023-08-10 22:20:20
543阅读
K8s的高级调度方式-亲和度和污点 1 默认的scheduler的调度过程：预选策略：从所有节点当中选择基本符合选择条件的节点。优选函数：在众多符合基本条件的节点中使用优选函数，计算节点各自的得分，通过比较进行排序。从最高得分的节点中随机选择出一个作为Pod运行的节点。可以通过自己的预设来影响预选、优选过程，从而实现符合我们期望的调度结果。2 影响调度方式：节点选择器：NodeSelec
转载
2023-12-12 15:06:28
84阅读
workqueueworkqueueInterface 接口实现 Interface 接口的 Type 类型Add() 方法Get() 方法Done() 方法向 workqueue 添加 item 的 4 种情况RateLimiter 接口实现 RateLimter 接口的 BucketRateLimiter 类型实现 RateLimter 接口的 ItemExponentialFailureRa
转载
2024-02-05 15:56:11
63阅读
Kubernetes-k8s网络工作原理同节点Pod之间的通信不同节点上的Pod通信Pod与ServiceCNI插件FlannelCalicoRomanaWeave Nets Kubernetes 采用的是基于扁平地址空间的、非NAT的网络模型，每个Pod有自己唯一的IP地址。 另外需要注意的是： 网络是由系统管理员或CNI(container network interface)插件建立的，
转载
2023-11-25 16:35:00
53阅读
实验环境：按照图示部署好了K8s集群，一个Master，两个worker nodes。什么是Deployment：docker容器是不稳定，当一个容器出现故障后或误删除后，管理员需要去排查并重启。在K8s中，最小的单位是Pod，本质上是对容器的包装，也是不稳定的。为了避免这种缺点，K8s里设置了Deployment来帮助我们解决这些问题。Deployment可以帮我们做什么？定义一组Pod期望数量
转载
2023-10-27 00:06:29
212阅读
什么是k8sKubernetes的名字来自希腊语，意思是“舵手” 或 “领航员”。K8s是将8个字母“ubernete”替换为“8”的缩写。K8S的创造者，是众人皆知的行业巨头——Google。然而K8S并不是一件全新的发明。它的前身，是Google自己捣鼓了十多年的Borg系统。K8S是2014年6月由Google公司正式公布出来并宣布开源的。为什么要使用k8s就在Docker容器技术被炒得热火
转载
2024-03-12 12:49:31
39阅读
Rancher入门Rancher简介Rancher 是一个全栈式的 Kubernetes 容器管理平台，也是一个可以在任何地方都能成功运行 Kubernetes 的工具。Rancher 通过支持集群的身份验证和基于角色的访问控制（RBAC），使系统管理员能够从一个位置控制全部集群的访问。Rancher 可以对集群及其资源进行详细的监控和并在需要时发送告警，也可以将容器日志发送给外部日志系统，并通过
转载
2023-12-16 15:20:44
53阅读
一、前言 Rancher 是为使用容器的公司打造的容器管理平台。Rancher 简化了使用 Kubernetes 的流程，方便开发者可以随处运行 Kubernetes（Run Kubernetes Everywhere），以便于满足 IT 需求规范，赋能 DevOps 团队。当然 Rancher 2.x 已经完全转向了 Kubernetes。Rancher 2
转载
2024-01-03 07:51:55
83阅读
在Kubernetes（K8S）环境中，YARN作为一种资源管理器，可以使得在集群中运行Apache Hadoop应用程序变得更加高效。通过结合YARN和K8S，可以更好地管理大数据应用程序的资源分配和调度。在本篇文章中，我将向你介绍如何在K8S环境中实现"yarn over k8s"。
首先，让我们来看一下整个流程的步骤，以便更好地理解：
| 步骤 | 操作 |
|--------|----
原创
2024-03-07 15:09:34
64阅读
在了解YARN和K8S之间的区别之前，首先我们需要了解它们各自的概念和作用。YARN是Hadoop生态系统中的资源管理器，用于集群的资源调度和作业监控。而K8S是一个开源的容器编排工具，用于自动化容器的部署、扩容和管理。
接下来，让我们通过以下步骤来详细了解YARN和K8S之间的区别：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个YARN集群 |
| 2 | 创建一
原创
2024-03-13 12:09:37
67阅读
