一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
# Kubernetes部署Hadoop集群
作为一名经验丰富的开发者，我将教会你如何使用Kubernetes（简称K8s）部署Hadoop集群。下面是整个部署过程的详细步骤：
| 步骤 | 操作 |
|--------|--------|
| 步骤1 | 创建Hadoop集群的Kubernetes配置文件 |
| 步骤2 | 创建Kubernetes服务和Pod |
| 步骤3 | 配置Ha
原创
2023-07-21 03:12:47
356阅读
# Hadoop 集群在 Kubernetes (K8s) 中的部署指南
在数据科学和大数据处理的世界里，Hadoop 是一个重要的工具。如果你想在 Kubernetes 上实现 Hadoop 集群部署，以下是一个简单的指南，帮助你完成这个过程。
## 部署流程
我们将使用以下步骤来实现 Hadoop 集群的部署：
| 步骤 | 描述 |
|------|------|
| 1 |
标题：Kubernetes部署Hadoop集群的全流程解析
摘要：
本文将指导您如何使用Kubernetes（K8S）进行Hadoop集群的部署和管理。通过详细的步骤和示例代码，将帮助您理解和掌握使用Kubernetes进行Hadoop集群的自动化部署和弹性扩展。本文适合有一定开发经验和对Kubernetes和Hadoop有一定了解的读者。
---
### 1. 准备工作
在开始之前，我们需
原创
2024-01-29 10:53:20
111阅读
# 在 Kubernetes 上部署 Hadoop 集群的指南
Hadoop 是一个开源的分布式计算平台，适合处理大数据。Kubernetes（K8s）则是一个用于自动化部署、扩展和管理应用程序的容器编排工具。将 Hadoop 部署在 Kubernetes 上可以利用 Kubernetes 的强大功能来管理 Hadoop 集群。本指南将详细介绍如何在 Kubernetes 上部署一个 Hadoo
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
文章目录一、Hadoop安装前期准备二、安装包上传三、配置Java环境变量四、部署Hadoop4.1 修改Hadoop配置文件（分布式Hadoop集群部署）4.2 Hadoop启动 一、Hadoop安装前期准备为了更清晰的管理安装软件，这里在/opt下创建两个文件夹，module用来安装软件，software用来存放需要的安装包，jar包等资源。cd /opt
sudo mkdir module
转载
2023-11-03 07:21:19
94阅读
步骤0：虚拟环境设置预先需要的环境：首先创建2个虚机超简版，虚机是centos7，网络是net，1cpu，2g内存，30g磁盘开始搭建： 我们使用的命令没有权限，因此先给用户赋权： 使用xshell连接虚拟机操作更加方便：步骤1：配置源，配置虚机系统内容，安装基本docker环境第一部分：1.配置阿里yum源wget -O /etc/yum.repos.d/CentOS-Base.repo htt
转载
2024-04-12 11:27:04
183阅读
Yaml格式批量管理集群Node的隔离与恢复[root@master ~]# kubectl get node 通过获取的node的名称通过kubectl patch 把节点取消调度范围，以达到在调度pod时候不会向该节点发送调度消息。[root@master ~]# kubectl patch node node3.localdomain -p '{"spec":{"unschedul
转载
2024-01-31 21:37:45
286阅读
Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入
原创
2024-02-22 17:23:18
37阅读
前言：本篇介绍k8s高可用集群的自动化安装版本：k8s 1.12.1coreOS1855 准备工作：完成前篇《基础架构八：coreOS的安装》 相关代码与资源：安装脚本git clone https://github.com/Thomas-YangHT/k8s-ha-autoinstall.git下载需要的镜相百度网盘 ：coreos-k8s.tgz htt
转载
2024-01-05 22:27:41
81阅读
目录一、概述二、开始编排部署（非高可用HDFS）1）下载chart 包2）构建镜像3）修改yaml编排（非高可用HDFS）4）开始部署5）测试验证6）卸载三、开始编排部署（高可用 HDFS）1）下载chart 包2）构建镜像3）修改配置5）测试验证6）卸载一、概述HBase 是一个面向列式存储的分布式数据库，其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HD
转载
2023-05-18 15:25:25
941阅读
1.1 概要介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高
转载
2024-05-16 06:08:27
96阅读
k8s集群部署02k8s集群部署02仍然报错若镜像拉取过慢原因 k8s集群部署02一、pod基本操作Pod是可以创建和管理Kubernetes计算的最小可部署单元，一个Pod代表着集群中运行的一个进程，每个pod都有一个唯一的ip。一个pod类似一个豌豆荚，包含一个或多个容器（通常是docker），多个容器间共享IPC、Network和UTC namespace。kubectl常用命令kubec
转载
2023-09-26 09:37:56
251阅读
在Kubernetes（简称K8S）上部署Hadoop集群可以实现高可用、弹性伸缩的大数据处理环境。本文将为你介绍如何在K8S上部署Hadoop集群，并提供相应的代码示例。让我们一步步来看。
**步骤**：
1. 配置Kubernetes环境：首先，你需要在本地或者云服务上搭建一个Kubernetes集群。可以使用Minikube或者Kubeadm进行快速搭建，或者使用云服务商如GCP、AWS
原创
2024-01-22 10:18:26
243阅读
搭建hadoop、SPARK，安装PySpark和notebook，实现简单实例文件分别在local、standalone、yarn和k8s上的运行准备一、安装jdk二、安装hadoop集群1.设置SSH免密钥2.hadoop下载及环境配置3.hadoop配置相关文件4.分发和启动Hadoop三、安装zookeeper1.zookeeper分布式集群搭建2.修改相应的配置文件四、安装spark1
转载
2024-10-29 09:54:54
158阅读
目录 ceph配置k8s 配置通过静态pv,pvc使用ceph测试多pod挂载静态pv数据不一致问题StoragaClass 方式ceph 常用命令k8s 常用命令k8s各类端口及IP说明端口说明问题PV访问模式测试结果参考 ceph配置rbd create --size 100 rbd/nginx-image
[root@localhost my-cluster]# rbd list
n
转载
2024-07-24 16:01:19
46阅读
Kubernetes (K8s) 是一个用于自动化容器化应用程序的开源平台，而Hadoop是一个用于分布式存储和分析大数据的框架。在本文中，我将向你介绍如何在Kubernetes集群上部署和管理Hadoop集群。我将按照以下步骤进行介绍：
步骤 | 说明
--- | ---
1. 安装Kubernetes集群 | 安装和配置一个Kubernetes集群，这可以参考Kubernetes官方文档或使
原创
2024-01-15 13:56:47
98阅读
如何在Kubernetes上部署和管理Hadoop集群
随着大数据和分布式计算的快速发展，Hadoop集群作为一个强大的处理工具，成为了大数据领域的热门技术。而Kubernetes作为一个容器管理平台，能够帮助我们轻松地管理和扩展应用程序。本文将介绍如何在Kubernetes上部署和管理Hadoop集群，让你从零开始了解并实现这一关键词。
### 一、整体流程
我们首先来了解一下这个整个流程
原创
2024-01-31 14:26:16
69阅读
