### 使用Hadoop和K8S实现大数据处理
在现代大数据处理中，Hadoop和Kubernetes（K8S）是两个非常流行的技术。Hadoop是一个基于Java的开源框架，用于可靠、可扩展、分布式计算和存储。Kubernetes是一个用于自动化容器操作的开源平台，可以轻松管理大规模容器化应用程序。
#### 流程概述
下面是使用Hadoop和K8S实现大数据处理的一般步骤：
| 步骤 |
原创
2024-03-08 11:03:58
85阅读
写在前面一、大数据全栈头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。其中也讨论下k8s的学习必要性。Ref: [Distributed ML] Yi WANG's talk 二、知识点容器技术与KubernetesGoto: 3 万容器，知乎基于Kubernetes容器平台实践Goto: 如何学习、了解kubern
转载
2023-07-19 15:38:53
256阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。正在运行的应用 pod 可能没有排除现有问题所需的所有工具。如果想执行一些需要额外权限的操作，需要重新启动应用 pod，以添加新的权限。在 docker 镜像中添加调试工具会引
转载
2024-02-07 12:52:32
31阅读
K8s pod详解Pod的介绍Pod的结构Pod定义Pod的配置基本配置镜像拉取策略启动命令环境变量（不推荐）端口设置资源配额Pod的生命周期创建和终止Pod的创建过程Pod的终止过程初始化容器钩子函数容器探测exec方式tcpSocket方式httpGet方式容器探测的补充重启策略Pod的调度定向调度nodeNamenodeSelector亲和性调度nodeAffinitypodAffinit
转载
2023-10-11 15:21:14
120阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
前言随着k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s进行对比，不禁问道：Docker 不香吗？k8s 是kubernets的缩写，’8‘代表中间的八个字符。其实 Docker 和 k8s 并非直接的竞争对手，它俩相互依存。Docker 是一个容器化平台，而 k8s 是 Docker 等容器平台的协调器。HUAWEI-Java一面-1H闲聊偏多，问的技术性问题比
转载
2024-05-16 06:44:37
66阅读
# Kubernetes 和 Hadoop：现代数据处理的结合
随着大数据时代的到来，企业越来越依赖于强大的数据处理工具。Kubernetes（简称K8s）和Hadoop是当前技术生态中两个不可或缺的组成部分。Kubernetes是一种开源容器编排工具，而Hadoop则是一个流行的大数据框架。将这两者结合在一起，可以实现更高效的资源管理和数据处理。本文将介绍K8s与Hadoop的基本概念，并提供
**在Kubernetes中使用Hadoop**
随着大数据技术的发展，Hadoop作为一个重要的大数据处理框架，能够有效地处理海量数据。在Kubernetes上部署Hadoop可以更好地管理大数据的计算资源，并实现弹性扩展。
下面我们将介绍如何在Kubernetes上部署Hadoop，并给出具体的代码示例，帮助你快速上手。
### 步骤概述
下面是在Kubernetes上部署Hadoop
原创
2024-03-06 15:46:03
58阅读
在Kubernetes(K8s)中部署Hadoop集群是一个相对复杂的过程，但是通过一步步的指导和正确的实践，就能够轻松完成。下面我将向你详细介绍如何在K8s上实现"hadoop on k8s"，帮助你理解整个流程。
### 步骤概述
下表展示了在K8s上部署Hadoop集群的主要步骤和需要的操作：
| 步骤 | 操作 | 代码示例
原创
2024-03-13 10:26:47
107阅读
## Hadoop与Kubernetes：大数据与容器编排的完美结合
在大数据处理领域，Hadoop一直是最受欢迎的框架之一。而在容器编排领域，Kubernetes成为了事实上的标准。将Hadoop与Kubernetes结合起来，可以将大数据处理的强大能力与容器编排的灵活性相结合，为大数据应用提供更好的可扩展性、弹性和可管理性。本文将介绍如何使用Hadoop在Kubernetes上进行大数据处理
原创
2023-08-03 16:39:41
84阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
这里写目录标题第一部分第二部分第三部分UDP和TCP的区别第四部分 第一部分k8s与docker的区别 Docker是容器化技术，k8s是一套自动化部署工具，可全生命周期管理Docker容器。（Kubernetes的简称是K8s） K8S是一个完备的分布式系统支撑平台，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的
转载
2024-01-11 13:13:42
190阅读
1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
基于 kubeadm 的 K8s集群搭建环境环境 OS：ubuntu18.04 Docker：19.03.8 K8s：1.18机器：一台Master Node，两台 Worker Node生产化方案多节点etcd、多节点Master Node、多节点 Worker Node：etcd 被设置成了集群模式，并且在 kubernetes 集群之外。所有的 Node 都会连接到它上面去。所有的 mast
转载
2024-02-15 21:33:19
140阅读
1.概述2014年， 伟大的google公司开源了Kubernates 产品， 因为这个单词K与S之间有8个字母， 所以简写就是K8S.简单来讲1. K8S 是1个开源的容器化集群管理系统讲到容器化， 大家都想到docker， 其实K8S也是基于docker的框架。只不过如果在docker去实现集群管理，滚动更新等K8S特性的化， 配置会相当复杂。 这就是为什么K8S的存在意义K8S 与 dock
转载
2023-10-20 18:08:26
221阅读
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴
转载
2023-11-01 10:23:29
123阅读
Harbor私有镜像仓库无坑搭建一、介绍Docker容器应用的开发和运行路不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境的Registry也是非常必要的。 Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。二
转载
2023-08-18 23:17:55
358阅读
1、基本概念 为了方便管理和集成jenkins，k8s、harbor、jenkins均使用openLDAP统一认证。 2、部署openLDAP 此处将openLDAP部署在k8s上，openLDAP可以在集群之外存在，不一定非要在k8s上部署openLDAP。 根据之前的文档，openLDAP使用GFS进行数据持久化。 下载对应的openLDAP文件git clone https
转载
2023-09-14 06:52:11
191阅读
