在大数据领域，Hadoop是一个非常流行的开源分布式存储和计算框架，而Kubernetes（K8S）则是一个用于自动化部署、扩展和管理容器化应用程序的平台。将K8S与Hadoop集成可以更好地利用资源、提升效率，并实现更好的容错性。在本篇文章中，我将向你介绍如何实现K8S集成Hadoop。
整个过程可以分为以下步骤：
| 步骤 | 操作
原创
2024-03-08 13:29:55
118阅读
1. 简述Hadoop：利用分布式集群实现 大数据文件存储系统DFS 和 MapReduce计算引擎。HBase：基于Hadoop的DFS系统，实现 非关系型 的 K-V键值对 形式存储的 分布式数据库。Flink：基于Hadoop的DFS系统或实时输入流，实现 批量作业处理 和 流式数据处理 的 分布式计算引擎，支持 实时处理。三者关系如下图所示：注意：由于hadoop、hbase、flink三
转载
2023-07-25 21:10:20
136阅读
写在前面一、大数据全栈头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。其中也讨论下k8s的学习必要性。Ref: [Distributed ML] Yi WANG's talk 二、知识点容器技术与KubernetesGoto: 3 万容器，知乎基于Kubernetes容器平台实践Goto: 如何学习、了解kubern
转载
2023-07-19 15:38:53
256阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。正在运行的应用 pod 可能没有排除现有问题所需的所有工具。如果想执行一些需要额外权限的操作，需要重新启动应用 pod，以添加新的权限。在 docker 镜像中添加调试工具会引
转载
2024-02-07 12:52:32
31阅读
K8s pod详解Pod的介绍Pod的结构Pod定义Pod的配置基本配置镜像拉取策略启动命令环境变量（不推荐）端口设置资源配额Pod的生命周期创建和终止Pod的创建过程Pod的终止过程初始化容器钩子函数容器探测exec方式tcpSocket方式httpGet方式容器探测的补充重启策略Pod的调度定向调度nodeNamenodeSelector亲和性调度nodeAffinitypodAffinit
转载
2023-10-11 15:21:14
120阅读
1.1 概要介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高
转载
2024-05-16 06:08:27
96阅读
ELB既然是负载均衡器，那么不论它再怎么高深，都不会离开本质。 ------统一的入口接受外来请求，按照特定配置分发请求。简单记录下创建ELB步骤，详细的官方文档有一、选择产品二、配置ELB三、上传SSL证书（因为我们启用https监听了443端口）四、配置安全组重点记住80，443端口需要完全开放五、配置路由这个分两步，先创建目标组（组名，走什么端口什么协议，怎么检查它是不是健康等），六、然后在
转载
2024-02-24 22:51:27
45阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
前言随着k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s进行对比，不禁问道：Docker 不香吗？k8s 是kubernets的缩写，’8‘代表中间的八个字符。其实 Docker 和 k8s 并非直接的竞争对手，它俩相互依存。Docker 是一个容器化平台，而 k8s 是 Docker 等容器平台的协调器。HUAWEI-Java一面-1H闲聊偏多，问的技术性问题比
转载
2024-05-16 06:44:37
66阅读
# Kubernetes 和 Hadoop：现代数据处理的结合
随着大数据时代的到来，企业越来越依赖于强大的数据处理工具。Kubernetes（简称K8s）和Hadoop是当前技术生态中两个不可或缺的组成部分。Kubernetes是一种开源容器编排工具，而Hadoop则是一个流行的大数据框架。将这两者结合在一起，可以实现更高效的资源管理和数据处理。本文将介绍K8s与Hadoop的基本概念，并提供
**在Kubernetes中使用Hadoop**
随着大数据技术的发展，Hadoop作为一个重要的大数据处理框架，能够有效地处理海量数据。在Kubernetes上部署Hadoop可以更好地管理大数据的计算资源，并实现弹性扩展。
下面我们将介绍如何在Kubernetes上部署Hadoop，并给出具体的代码示例，帮助你快速上手。
### 步骤概述
下面是在Kubernetes上部署Hadoop
原创
2024-03-06 15:46:03
58阅读
在Kubernetes(K8s)中部署Hadoop集群是一个相对复杂的过程，但是通过一步步的指导和正确的实践，就能够轻松完成。下面我将向你详细介绍如何在K8s上实现"hadoop on k8s"，帮助你理解整个流程。
### 步骤概述
下表展示了在K8s上部署Hadoop集群的主要步骤和需要的操作：
| 步骤 | 操作 | 代码示例
原创
2024-03-13 10:26:47
107阅读
## Hadoop与Kubernetes：大数据与容器编排的完美结合
在大数据处理领域，Hadoop一直是最受欢迎的框架之一。而在容器编排领域，Kubernetes成为了事实上的标准。将Hadoop与Kubernetes结合起来，可以将大数据处理的强大能力与容器编排的灵活性相结合，为大数据应用提供更好的可扩展性、弹性和可管理性。本文将介绍如何使用Hadoop在Kubernetes上进行大数据处理
原创
2023-08-03 16:39:41
84阅读
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
这里写目录标题第一部分第二部分第三部分UDP和TCP的区别第四部分 第一部分k8s与docker的区别 Docker是容器化技术，k8s是一套自动化部署工具，可全生命周期管理Docker容器。（Kubernetes的简称是K8s） K8S是一个完备的分布式系统支撑平台，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的
转载
2024-01-11 13:13:42
190阅读
1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
目录1. 说明2. 开始前的准备工作2.1 docker 验证用户信息设置 2.2 安装BuildKit3. 安装步骤3.1 申请一个pvc存储区 (wwwroot-pvc.yaml)3.2 Nginx3.3 PHP-FPM3.3.1 构建并推送镜像3.3.2 定义入口(ingress 方式)3.4 Maria Galera3.4.1 安装相关命令3.4.2 特别注意3.4.3
转载
2023-10-19 11:54:45
320阅读
基于 kubeadm 的 K8s集群搭建环境环境 OS：ubuntu18.04 Docker：19.03.8 K8s：1.18机器：一台Master Node，两台 Worker Node生产化方案多节点etcd、多节点Master Node、多节点 Worker Node：etcd 被设置成了集群模式，并且在 kubernetes 集群之外。所有的 Node 都会连接到它上面去。所有的 mast
转载
2024-02-15 21:33:19
140阅读
