内容预知前言 1. 认证（Authentication） 1.1 k8s集群内的三种认证方式1.2 k8s集群内的认证说明（1）需要被认证的访问类型（2）安全性说明（3）证书颁发的方式（4）kubeconfig（5）Service Account（6）Secret 与 SA 的关系 2.鉴权（Authorization） 2.1 鉴权
转载
2024-03-16 22:34:27
61阅读
在Kubernetes（以下简称K8S）中挂载HDFS存储可以帮助我们在容器化环境中更好地管理数据存储，同时也提供了更灵活的数据处理方式。本文将介绍如何在K8S中挂载HDFS存储，并为刚入行的小白提供详细的步骤和代码示例。
### 整体流程
下面是挂载HDFS存储到K8S的整体步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建K8S的PV和PVC |
| 2 |
原创
2024-04-15 15:00:59
528阅读
Kubernetes (K8S) 是一款开源的容器编排引擎，可以用于自动化部署、扩展和管理容器化应用程序。而 Hadoop Distributed File System (HDFS) 是一种分布式文件系统，适用于大规模数据存储和处理。
在使用 K8S 存储数据到 HDFS，需要通过PV (Persistent Volume) 和 PVC (Persistent Volume Claim) 来实
原创
2024-04-07 10:54:39
136阅读
## 在Kubernetes中实现动态存储HDFS
### 摘要
在Kubernetes（K8S）中实现动态存储HDFS（Hadoop分布式文件系统）可以帮助用户实现数据存储和管理的自动化，提高系统的可扩展性和灵活性。本文将介绍如何通过Kubernetes结合HDFS实现动态存储，并提供详细的步骤和代码示例。
### 1. 流程概述
在Kubernetes中实现动态存储HDFS的流程如下所示：
原创
2024-04-11 10:53:45
132阅读
Helm一、Helm简介二、Helm部署1.下载helm命令行工具2.安装服务端tiller3.Helm自定义模板4.命令补充三、使用Helm部署Dashboard四、Prometheus1.组件说明2.创建3.修改4.导入镜像5.压力测试HPA6.资源限制-pod7.资源限制-名称空间五、EFK日志 包管理工具 yum解决了rpm包依赖的问题在k8s包，主要是解决了安装服务问题。 通过仓库下载想
搭建Heapster+InfluxDB+Grafana集群性能监控平台 在大规模容器集群中，需要对所有node和全部容器进行性能监控。kubernetes建议使用一套工具来实现集群性能数据的采集、存储和展示：heapster、InfluxDB和Grafana。heapster：对集群中各个Node上cAdvisor的数据采集汇聚的系统，通过访问每个node上kubelet的API，再通
转载
2024-04-12 16:09:25
27阅读
一、集群方式：分布式存储方案MinIO的离线k8s容器化部署，超简单!!!_是潮汕的灿灿展吖的-_k8s 部署minio文章目录一、前言二、Minio三、k8s容器化部署一、前言分布式文件存储系统，作为一个码农，多多少少会听说大名鼎鼎 hadoop 的文件系统 HDFS 和 FastDFS。这个两个在文件存储各有优劣，但是对于现在流行的k8s容器化部署来说，这两个部署都过于麻烦，而
转载
2024-04-30 12:26:05
26阅读
打开技术文档，首先看了一下目录，简单了解一下框架结构，目录的其中重点是“下载安装” 和 ”本机安装测试“，这两部分。由于没有学过K8s的缘故，所以刚开始看命令都是一知半解，啃了半天的K8s快速入门，理解基础知识如Pod是什么。Shifu安装方式安装前提是：都需要安装Docker，文中是安装 Docker Desktop，我们是Linux安装Docker就行从文档中总结得出，Shifu安装
转载
2024-08-15 07:14:58
134阅读
Volume类型emptyDiremptyDir类型的volume在pod分配到node上时被创建，kubernetes会在node上自动分配 一个目录，因此无需指定宿主机 node上对应的目录文件。这个目录的初始内容为空，当Pod从node上移除时，emptyDir中的数据会被永久删除。emptyDir Volume主要用于某些应用程序无需永久保存的临时目录，多个容器的共享目录等。hostPat
转载
2024-04-26 12:38:40
96阅读
目录部署k8s集群主要有两类架构：一主多从和多主多从，这个不用解释了吧1.搭建方式介绍：2.kubeadm 部署方式介绍3.安装环境准备4.最终目标5.准备环境6.系统初始化6.1 设置系统主机名以及 Host 文件的相互解析6.2 时间同步这里用chronyd，企业中一般用时间同步服务器6.3 关闭firewalld和iptables为了避免和docker中产生的大量iptables规则产生混淆
转载
2024-05-27 10:56:18
114阅读
HDFS on K8S 实现指南
在本文中，我将向您展示如何在Kubernetes（K8S）上实现Hadoop分布式文件系统（HDFS）。HDFS是Hadoop生态系统中的关键组件之一，用于存储和处理大规模数据。通过将HDFS部署在Kubernetes集群中，您可以更轻松地扩展和管理数据存储。
步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建Kubern
原创
2024-03-05 14:43:10
89阅读
在Kubernetes集群中使用Hadoop Distributed File System（HDFS）是一个常见的场景，这可以帮助我们更好地管理大规模的数据存储和处理。在本文中，我们将介绍如何在Kubernetes集群上部署HDFS，并配置Kubernetes和HDFS进行互通。让我们来详细了解一下。
### 步骤概述
下面是实现"K8S on HDFS"的主要步骤：
| 步骤 | 描述 |
原创
2024-03-14 11:38:42
86阅读
kubernetes 使用CephFS进行动态卷配置1. 实验环境简述: 本实验主要演示了将现有CephFS文件系统存储用作k8s 动态创建持久性存储（pv)的示例。假设您的环境已经建立了一个工作的Ceph集群。 因为上一篇文档中描述的使用RBD模式创建的pvc不支持RWM(readwriteMany)，只支持 RWO(ReadWriteOnce)和ROM(ReadOnlyMany)k8s 不
转载
2024-06-24 04:46:52
70阅读
功能概述 在前面已经提到，容器的生命周期可能很短，会被频繁地创建和销毁。那么容器在销毁时，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。为了持久化保存容器的数据，kubernetes引入了Volume的概念。 Volume是Pod中能够被多个容器访问的共享目录，它被定义在Pod上，然后被一个Pod里的多个容器挂载到具体的文件目录下，kubernetes通
转载
2023-09-14 17:12:58
221阅读
Kubernetes (K8s) 是一种用于自动化部署、扩展和管理容器化应用程序的开源平台。在K8s中，数据存储是非常重要的一环，它需要确保应用程序的数据持久存储、高可用性以及可靠性。本文将教你如何实现在K8s中进行数据存储。
### 步骤概览
下面是在K8s中实现数据存储的一般步骤：
| 步骤 | 操作 | 说明
原创
2024-03-07 12:48:10
61阅读
在前面已经提到，容器的生命周期可能很短，会被频繁地创建和销毁。那么容器在销毁时，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。为了持久化保存容器的数据，kubernetes引入了Volume的概念。 Volume是Pod中能够被多个容器访问的共享目录，它被定义在Pod上，然后被一个Pod里的多个容器挂载到具体的文件目录下，kubernetes通过Volume实现同
转载
2024-08-09 19:19:16
88阅读
## Kubernetes使用HDFS作为动态存储详解
### 概述
在Kubernetes中使用HDFS作为动态存储是一种常见的场景，可以有效地扩展存储容量和提高数据可靠性。本文将介绍如何在Kubernetes集群中配置和使用HDFS作为动态存储，并给出详细的步骤和代码示例。
### 步骤概览
以下是配置Kubernetes使用HDFS作为动态存储的整体步骤概览：
| 步骤 | 描述 |
原创
2024-03-14 11:39:51
318阅读
# 通过以下文章，你将学习如何在Kubernetes中实现持久化存储方案HDFS。
## 步骤
| 步骤 | 操作 |
| -------- | -------- |
| 1 | 配置HDFS持久化存储 |
| 2 | 配置Kubernetes中的PV（持久卷）和PVC（持久卷声明） |
| 3 | 配置HDFS服务 |
## 详细步骤
### 步骤1：配置HDFS持
原创
2024-03-22 10:08:35
51阅读
1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
Kubernetes基础概念1.kubernetes具有以下特性：服务发现和负载均衡 Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。存储编排 Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。自动部署和回滚 你可以使用 Kubernetes 描述
转载
2024-03-03 15:52:22
9阅读
