一、集群方式：分布式存储方案MinIO的离线k8s容器化部署，超简单!!!_是潮汕的灿灿展吖的-_k8s 部署minio文章目录一、前言二、Minio三、k8s容器化部署一、前言分布式文件存储系统，作为一个码农，多多少少会听说大名鼎鼎 hadoop 的文件系统 HDFS 和 FastDFS。这个两个在文件存储各有优劣，但是对于现在流行的k8s容器化部署来说，这两个部署都过于麻烦，而
转载
2024-04-30 12:26:05
26阅读
Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。Hadoop分布式文件系统（HDFS）是Apache Hadoop的核心组件之一，用于存储大规模数据集。在本文中，我将指导小白开发者如何使用Kubernetes来部署HDFS。
首先，我们需要了解整个部署过程的步骤。下面是部署HDFS的Kubernetes步骤概览：
步骤 | 描述
--- | ---
安
原创
2024-02-06 11:59:50
223阅读
在Kubernetes中部署HDFS是一项常见且重要的任务，它可以帮助我们更好地管理大规模数据。本文将指导您如何在Kubernetes中部署HDFS，并通过步骤和代码示例帮助您快速上手。
### 步骤概览
以下是实现“k8s部署HDFS”的整个流程，包括几个关键步骤和操作：
| 步骤 | 操作 |
|--------------
原创
2024-02-20 11:23:26
163阅读
kubernetes 使用CephFS进行动态卷配置1. 实验环境简述: 本实验主要演示了将现有CephFS文件系统存储用作k8s 动态创建持久性存储（pv)的示例。假设您的环境已经建立了一个工作的Ceph集群。 因为上一篇文档中描述的使用RBD模式创建的pvc不支持RWM(readwriteMany)，只支持 RWO(ReadWriteOnce)和ROM(ReadOnlyMany)k8s 不
转载
2024-06-24 04:46:52
70阅读
HDFS是一个基于Hadoop分布式文件系统的大数据存储解决方案，而Kubernetes（K8S）是一个用于管理容器化应用的开源平台。本文将为刚入行的小白介绍如何在Kubernetes上部署HDFS，并详细阐述每个步骤需要做什么以及相应的代码示例。
一、部署Kubernetes集群
部署K8S集群的步骤如下：
步骤 | 动作
---|---
1 | 安装Docker
2 | 安装Kubeadm
原创
2024-02-06 11:53:08
80阅读
标题：使用Kubernetes部署HDFS集群的步骤和代码示例
摘要：本文将介绍如何使用Kubernetes（K8S）部署Hadoop分布式文件系统（HDFS）集群。我们将详细解释部署流程，并提供相关的代码示例和解释。对于刚入行的小白来说，这篇文章将是一个很好的起点，帮助他们理解如何实现“hdfs on k8s部署”。
一、整体流程
下面是在Kubernetes上部署HDFS集群的整体流程：
原创
2024-01-29 10:51:30
209阅读
一、uber(u:ber)模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask.enable配置为t
转载
2024-10-12 11:18:54
29阅读
一、导语kubernetes的兴起与应用不仅为容器的发展推波助澜，也成就了云原生技术的火爆。同样，金融行业也逐步涌现出很多上云的系统。为了保证我行后期上云更加容易，更容易上手，因此对k8s及云原生技术也开展一些学习和实验。实验才是掌握知识最快的方式，开展k8s的相关学习，我也是选择从安装部署开始，拥有一套自己的kubernetes集群，然后带着疑问进行研究学习，后期也会通过书本进行一些系统的了解和
转载
2024-05-04 17:04:02
42阅读
K8S 上部署 HDFS
=========================
导言
----
Kubernetes (K8S) 是一个流行的容器编排工具，用于自动化容器的部署、扩展和管理。Hadoop 分布式文件系统 (HDFS) 是一个用于存储大规模数据集的分布式文件系统。本文将告诉你如何在 K8S 上部署 HDFS。
步骤概览
--------
以下是在 K8S 上部署 HDFS 的步骤概
原创
2024-02-06 11:19:43
196阅读
Vmware的Harbor镜像库集成了Docker的Registry功能外，提供了丰富的界面和同步镜像库的功能，为项目中存储和管理镜像提供了良好的基础环境。安装共享存储Registry的镜像数据使用文件系统存储，即使服务器磁盘已做RAID，也需在架构上保证在物理机和虚拟机出问题时能快速恢复。因此利用K8s挂载存储是较好的方法。这里我们选择Glusterfs做共享存储。每台机器上安装并启动Glust
转载
2024-02-26 22:01:36
74阅读
目录1.1 rook架构介绍1.2 rook部署1.3 块存储使用1.4 共享文件存储使用1.5 在线pvc扩容和快照使用1.5.1 在线扩容pvc1.5.1 创建快照pvc1.6 rook集群的清除1.1 rook架构介绍1.2 rook部署官方文档：https://rook.io/docs/rook/v1.9/quickstart.html#给节点打上污点202.203.204
#201
ku
转载
2024-04-18 14:42:02
104阅读
1. Helm部署1.1 简介为了将Ceph部署到K8S集群中，可以利用ceph-helm项目。 目前此项目存在一些限制：public和cluster网络必须一样如果Storage的用户不是admin，你需要在Ceph集群中手工创建用户，并在K8S中创建对应的Secretsceph-mgr只能运行单副本1.2 仓库执行下面的命令把ceph-helm添加到本地Helm仓库：# 此项目使用Helm本地
转载
2024-06-19 21:13:39
117阅读
搭建Heapster+InfluxDB+Grafana集群性能监控平台 在大规模容器集群中，需要对所有node和全部容器进行性能监控。kubernetes建议使用一套工具来实现集群性能数据的采集、存储和展示：heapster、InfluxDB和Grafana。heapster：对集群中各个Node上cAdvisor的数据采集汇聚的系统，通过访问每个node上kubelet的API，再通
转载
2024-04-12 16:09:25
27阅读
通过努力，我们有了一个完整配置的工作负载域，其中包括一个NSX-T Edge部署。现在，我们准备继续使用Kubernetes 部署vSphere。通过VMware Cloud Foundation 4.0中的SDDC Manager，我们确保NSX-T Edge可用，并且还确保Workload Domain获得了足够的许可以启用带有Kubernetes的vSphere。为清楚起见，本文基于GA C
转载
2024-05-02 11:14:07
55阅读
先决条件为确保您有一个准备就绪的 Kubernetes 集群Rook，您可以按照这些说明进行操作。为了配置 Ceph 存储集群，至少需要以下本地存储选项之一：原始设备（无分区或格式化文件系统）
这需要lvm2在主机上安装。为了避免这种依赖性，您可以在磁盘上创建一个完整的磁盘分区（见下文）原始分区（无格式化的文件系统）block模式下存储类可用的持久卷部署 Rook Operator$ git cl
转载
2024-04-11 11:13:09
60阅读
HDFS on K8S 实现指南
在本文中，我将向您展示如何在Kubernetes（K8S）上实现Hadoop分布式文件系统（HDFS）。HDFS是Hadoop生态系统中的关键组件之一，用于存储和处理大规模数据。通过将HDFS部署在Kubernetes集群中，您可以更轻松地扩展和管理数据存储。
步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建Kubern
原创
2024-03-05 14:43:10
89阅读
目录部署k8s集群主要有两类架构：一主多从和多主多从，这个不用解释了吧1.搭建方式介绍：2.kubeadm 部署方式介绍3.安装环境准备4.最终目标5.准备环境6.系统初始化6.1 设置系统主机名以及 Host 文件的相互解析6.2 时间同步这里用chronyd，企业中一般用时间同步服务器6.3 关闭firewalld和iptables为了避免和docker中产生的大量iptables规则产生混淆
转载
2024-05-27 10:56:18
114阅读
在Kubernetes集群中使用Hadoop Distributed File System（HDFS）是一个常见的场景，这可以帮助我们更好地管理大规模的数据存储和处理。在本文中，我们将介绍如何在Kubernetes集群上部署HDFS，并配置Kubernetes和HDFS进行互通。让我们来详细了解一下。
### 步骤概述
下面是实现"K8S on HDFS"的主要步骤：
| 步骤 | 描述 |
原创
2024-03-14 11:38:42
86阅读
1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
# 在K8s上部署HDFS和YARN的指南
在当今的云计算时代，Kubernetes（K8s）作为一个强大的容器编排平台，被广泛应用于各类云原生应用的部署。而HDFS（Hadoop分布式文件系统）和YARN（Yet Another Resource Negotiator）是Apache Hadoop生态系统中的重要组件之一。本文将指导你在Kubernetes上部署HDFS和YARN的过程，并为你
