参考官网kubeadm是官方提供的快速搭建k8s集群的开源工具，对于非运维人员学习k8s，kubeadm方式安装相对更简单。安装前提 One or more machines running a deb/rpm-compatible Linux OS; for example: Ubuntu or CentOS.
2 GiB or more of RAM per machine--any les
转载
2023-12-01 20:15:51
231阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
K8S搭建Hadoop集群
作为一名经验丰富的开发者，我将为刚入行的小白科普如何使用Kubernetes（K8S）搭建Hadoop集群。在本篇文章中，我将介绍整个搭建过程，并提供每一步需要做的操作和相关代码示例。
步骤概览:
1. 准备工作：安装Kubernetes集群和Hadoop镜像
2. 创建Kubernetes服务和Pod
3. 配置Hadoop集群：设置NameNode、DataNo
原创
2024-01-29 13:07:03
198阅读
标题：K8S集群搭建Hadoop教程
摘要：
本文将带领刚入行的小白学习如何使用Kubernetes（K8S）搭建Hadoop集群。我们将详细讲解整个流程，并提供每一步所需的代码示例和相应的解释。通过本文，小白将能够掌握如何利用K8S轻松搭建Hadoop集群。
一、整体流程
下表展示了整个搭建K8S集群及Hadoop的流程，我们将逐步进行教学。
| 步骤 | 操作
原创
2024-01-24 10:52:37
118阅读
# 搭建基于 Kubernetes 的 Hadoop 集群
在大数据时代，Hadoop 是一个重要的框架，而 Kubernetes（K8s）则为容器编排提供了理想的环境。在这篇文章中，我将教你如何在 Kubernetes 上搭建 Hadoop 集群。整个流程可以总结为以下几个步骤：
## 步骤概览
| 步骤 | 描述 |
1. 安装docker1.1 前置工作master节点和worker节点上都需要进行下面的操作。# 关闭了防火墙，并取消了开机自启动。
hadoop@master:sudo ufw disable
#查看防火墙状态
hadoop@master:sudo ufw status
# 关闭selinux
hadoop@master:sed -i 's/enforcing/disabled/' /etc
转载
2024-01-15 09:11:40
102阅读
# 使用k8s集群搭建Hadoop详细
在大数据处理中，Hadoop是一个非常重要的工具，可以用来存储和处理大规模数据。而在现代化的云计算环境中，使用Kubernetes（k8s）来部署Hadoop集群可以更加高效和方便。下面我们来详细介绍如何使用k8s集群搭建Hadoop。
## 准备工作
在开始之前，确保你已经有一个可用的k8s集群，并安装了kubectl命令行工具。接下来我们需要创建H
原创
2024-06-16 05:53:30
192阅读
步骤0：虚拟环境设置预先需要的环境：首先创建2个虚机超简版，虚机是centos7，网络是net，1cpu，2g内存，30g磁盘开始搭建： 我们使用的命令没有权限，因此先给用户赋权： 使用xshell连接虚拟机操作更加方便：步骤1：配置源，配置虚机系统内容，安装基本docker环境第一部分：1.配置阿里yum源wget -O /etc/yum.repos.d/CentOS-Base.repo htt
转载
2024-04-12 11:27:04
183阅读
Yaml格式批量管理集群Node的隔离与恢复[root@master ~]# kubectl get node 通过获取的node的名称通过kubectl patch 把节点取消调度范围，以达到在调度pod时候不会向该节点发送调度消息。[root@master ~]# kubectl patch node node3.localdomain -p '{"spec":{"unschedul
转载
2024-01-31 21:37:45
286阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
Harbor私有镜像仓库无坑搭建一、介绍Docker容器应用的开发和运行路不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境的Registry也是非常必要的。 Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。二
转载
2023-08-18 23:17:55
358阅读
一，准备工作1，拥有一个运行中的k8s集群2，拥有一个ceph分布式存储集群，此mysql集群基于ceph块存储，部署方案可参考我前面的rook部署ceph方案二，集群搭建1，创建存储类storageclassStorageClass定义保存为storageclass.yaml：apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
转载
2024-07-03 16:39:47
204阅读
标题：将Hadoop集群搭建在Kubernetes上的详细步骤及代码示例
摘要：
本文将详细介绍如何将Hadoop集群搭建在Kubernetes（以下简称K8S）上，为了帮助刚入行的小白实现关键词的功能。我们将按照以下步骤进行操作，并给出相应的代码示例。
步骤一：安装和配置K8S集群
1. 安装Docker：Hadoop集群需要在容器中运行，因此我们首先需要安装Docker。可以通过以下命令行
原创
2024-01-22 11:30:37
171阅读
二、搭建k8s集群2.1 平台规划1.单master集群2.多master集群(高可用集群)2.2 服务器硬件要求2.3 部署方式2.3.1. Kubeadm工具安装官方的部署k8s工具, 用于快速部署第一、创建一个 Master 节点 kubeadm init第二、将 Node 节点加入到当前集群中 $ kubeadm join <Master 节点的 IP 和端口 >1. 前置条件
转载
2024-07-22 12:42:30
98阅读
Kubernetes实战第一步——手把手教你搭建k8s集群一、什么是Kubernetes？ 简单来说，它是一个大规模的容器编排系统，他的特性如下： ■ 服务发现和负载均衡 ■ 存储编排 ■ 自动部署和回滚 ■ 自动完成装箱计算 ■ 自我修复 ■ 密钥与配置管理 ■ 总结：Kubernetes 为你提供了一个可弹性运行分布式系统的框架，它会满足你的扩展要求、故障转移和部署模式等，例如
转载
2023-11-29 16:03:46
127阅读
相信 Kubernetes 以其复杂的架构，劝退了不少想要学习的新手。仅是搭建集群，学习成本就不低。我的建议是：与其将时间放在搭建上，不如将精力放到 K8s 本身，等熟悉各个功能了，再搭建集群去了解各个组件，这种学习方法可能更加高效。今天和大家分享的一个开源的 K8s 发行版：k0s，只需将 k0s 的二进制文件复制到各个主机上，就可以快速搭 K8s 集群。项目介绍k0s [1] 是一款简易、稳
转载
2024-05-14 14:33:26
182阅读
Kubernetes (K8s) 是一个用于自动化容器化应用程序的开源平台，而Hadoop是一个用于分布式存储和分析大数据的框架。在本文中，我将向你介绍如何在Kubernetes集群上部署和管理Hadoop集群。我将按照以下步骤进行介绍：
步骤 | 说明
--- | ---
1. 安装Kubernetes集群 | 安装和配置一个Kubernetes集群，这可以参考Kubernetes官方文档或使
原创
2024-01-15 13:56:47
98阅读
如何在Kubernetes上部署和管理Hadoop集群
随着大数据和分布式计算的快速发展，Hadoop集群作为一个强大的处理工具，成为了大数据领域的热门技术。而Kubernetes作为一个容器管理平台，能够帮助我们轻松地管理和扩展应用程序。本文将介绍如何在Kubernetes上部署和管理Hadoop集群，让你从零开始了解并实现这一关键词。
### 一、整体流程
我们首先来了解一下这个整个流程
原创
2024-01-31 14:26:16
69阅读
1.实验环境准备准备三台centos7虚拟机，用来部署k8s集群：master（hadoop1，192.168.229.111）配置：操作系统：centos7.3以及更高版本都可以配置：4核cpu，4G内存，30G硬盘网络：网络地址转换node（hadoop2，192.168.229.112）配置：操作系统：centos7.3以及更高版本都可以配置：4核cpu，4G内存，30G硬盘网络：网络地址转
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
