前言类似于 Linux 的 YUM、APT，Helm 是 K8S 的包管理工具。Helm， 一个二进制工具，用来安装、升级、卸载 K8S 中的应用程序。Helm Chart，一个 tgz 包，类似安卓的 APK。K8S 应用打包成 Chart，通过 Helm 安装到 K8S 集群中。更新历史20200717 - 初稿 - 左程立Helm 包管理工具安装 Helm，解压到 /usr/loca/bin
转载
2023-09-09 22:03:44
101阅读
# 使用 Kubernetes 管理 Hadoop 集群
Kubernetes（简称 k8s）是一个用于自动化应用部署、扩展和操作的开源平台。Hadoop 是一个用于存储和处理大规模数据的开源框架。结合使用 Kubernetes 和 Hadoop 可以更方便地管理和部署大数据应用。
## Kubernetes 中的 Hadoop 部署
首先，我们需要在 Kubernetes 中安装和配置 H
原创
2024-05-01 05:56:07
23阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
写在前面一、大数据全栈头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。其中也讨论下k8s的学习必要性。Ref: [Distributed ML] Yi WANG's talk 二、知识点容器技术与KubernetesGoto: 3 万容器，知乎基于Kubernetes容器平台实践Goto: 如何学习、了解kubern
转载
2023-07-19 15:38:53
256阅读
概述看过很多Docker和k8s的视频和笔记，却依然搞不清楚这两者的区别与关系。鉴于最近在工作中频繁在k8s集群进行一些操作，便想基于自己这段时间的实践，谈谈自己对docker和k8s的理解。Docker和虚拟机的纠葛记得刚上大学那会儿，选的方向是“金融大数据”，有一门课程教授hadoop，这门课的最终考核之一是：在虚拟机上搭建hadoop分布式环境。搭建hadoop分布式集群意味着至少需要两台虚
转载
2024-04-07 12:05:39
71阅读
# 在 Kubernetes 上管理 Hadoop 集群的指南
在现代数据处理环境中，Kubernetes（K8s）和 Hadoop 密切结合，可以提供强大的数据存储和处理能力。本指南将带您通过在 Kubernetes 上管理 Hadoop 集群的流程，介绍每一步所需的操作和代码。
## 流程概览
以下是管理 Hadoop 集群的步骤概述：
| 步骤编号 | 步骤描述
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。正在运行的应用 pod 可能没有排除现有问题所需的所有工具。如果想执行一些需要额外权限的操作，需要重新启动应用 pod，以添加新的权限。在 docker 镜像中添加调试工具会引
转载
2024-02-07 12:52:32
31阅读
K8s pod详解Pod的介绍Pod的结构Pod定义Pod的配置基本配置镜像拉取策略启动命令环境变量（不推荐）端口设置资源配额Pod的生命周期创建和终止Pod的创建过程Pod的终止过程初始化容器钩子函数容器探测exec方式tcpSocket方式httpGet方式容器探测的补充重启策略Pod的调度定向调度nodeNamenodeSelector亲和性调度nodeAffinitypodAffinit
转载
2023-10-11 15:21:14
120阅读
目录一、陈述式管理1.1、陈述式资源管理方式1.2、k8s相关信息查看查看版本信息查看节点信息查看资源对象简写查看集群信息配置kubectl自动补全查看日志基本信息查看查看master节点状态查看命名空间1.3、命名空间操作查看default命名空间的所有资源创建命名空间删除命名空间1.4、deployment/pod操作在命名空间kube-public创建副本控制器（deployment）来启动
转载
2023-12-13 06:12:37
796阅读
# Kubernetes 和 Hadoop：现代数据处理的结合
随着大数据时代的到来，企业越来越依赖于强大的数据处理工具。Kubernetes（简称K8s）和Hadoop是当前技术生态中两个不可或缺的组成部分。Kubernetes是一种开源容器编排工具，而Hadoop则是一个流行的大数据框架。将这两者结合在一起，可以实现更高效的资源管理和数据处理。本文将介绍K8s与Hadoop的基本概念，并提供
**在Kubernetes中使用Hadoop**
随着大数据技术的发展，Hadoop作为一个重要的大数据处理框架，能够有效地处理海量数据。在Kubernetes上部署Hadoop可以更好地管理大数据的计算资源，并实现弹性扩展。
下面我们将介绍如何在Kubernetes上部署Hadoop，并给出具体的代码示例，帮助你快速上手。
### 步骤概述
下面是在Kubernetes上部署Hadoop
原创
2024-03-06 15:46:03
58阅读
在Kubernetes(K8s)中部署Hadoop集群是一个相对复杂的过程，但是通过一步步的指导和正确的实践，就能够轻松完成。下面我将向你详细介绍如何在K8s上实现"hadoop on k8s"，帮助你理解整个流程。
### 步骤概述
下表展示了在K8s上部署Hadoop集群的主要步骤和需要的操作：
| 步骤 | 操作 | 代码示例
原创
2024-03-13 10:26:47
107阅读
## Hadoop与Kubernetes：大数据与容器编排的完美结合
在大数据处理领域，Hadoop一直是最受欢迎的框架之一。而在容器编排领域，Kubernetes成为了事实上的标准。将Hadoop与Kubernetes结合起来，可以将大数据处理的强大能力与容器编排的灵活性相结合，为大数据应用提供更好的可扩展性、弹性和可管理性。本文将介绍如何使用Hadoop在Kubernetes上进行大数据处理
原创
2023-08-03 16:39:41
84阅读
前言随着k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s进行对比，不禁问道：Docker 不香吗？k8s 是kubernets的缩写，’8‘代表中间的八个字符。其实 Docker 和 k8s 并非直接的竞争对手，它俩相互依存。Docker 是一个容器化平台，而 k8s 是 Docker 等容器平台的协调器。HUAWEI-Java一面-1H闲聊偏多，问的技术性问题比
转载
2024-05-16 06:44:37
66阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
这里写目录标题第一部分第二部分第三部分UDP和TCP的区别第四部分 第一部分k8s与docker的区别 Docker是容器化技术，k8s是一套自动化部署工具，可全生命周期管理Docker容器。（Kubernetes的简称是K8s） K8S是一个完备的分布式系统支撑平台，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的
转载
2024-01-11 13:13:42
190阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
