这里写目录标题第一部分第二部分第三部分UDP和TCP的区别第四部分 第一部分k8s与docker的区别 Docker是容器化技术，k8s是一套自动化部署工具，可全生命周期管理Docker容器。（Kubernetes的简称是K8s） K8S是一个完备的分布式系统支撑平台，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的
转载
2024-01-11 13:13:42
190阅读
Hadoop与K8S是两个流行的大数据技术，结合它们可以更好地管理和运行大规模数据处理任务。在本文中，我将详细介绍如何将Hadoop与K8S结合起来，并提供代码示例。
流程概述：
| 步骤 | 描述 |
| ---- | ----- |
| 步骤1 | 准备Hadoop集群 |
| 步骤2 | 配置K8S集群 |
| 步骤3 | 部署Hadoop应用程序到K8S集群 |
| 步骤4 | 运行H
原创
2024-03-12 09:34:55
73阅读
然后选择自定义(高级)，然后一直下一步，直到选择安装来源，选择安装程序光盘映像文件(iso)，浏览选择刚才下载的CentOS的位置(iso文件)。下一步直到命名虚拟机，虚拟机的名称可以后续修改，改不改都可以，下面的位置是安装到的虚拟机位置(不想下C盘请修改)。之后一直下一步就可以了，配置什么的后面可以通过编辑虚拟机进行修改。三个虚拟机的位置最好都选在不同的文件夹中，如：2.3 安装CentOS(包
转载
2024-09-13 13:48:37
34阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
写在前面一、大数据全栈头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。其中也讨论下k8s的学习必要性。Ref: [Distributed ML] Yi WANG's talk 二、知识点容器技术与KubernetesGoto: 3 万容器，知乎基于Kubernetes容器平台实践Goto: 如何学习、了解kubern
转载
2023-07-19 15:38:53
256阅读
网上使用Kubernetes搭建Hadoop的资料较少，因此自己尝试做了一个，记录下过程和遇到的问题。一、选择镜像首先从官方Docker Hub中选择比较热门的镜像。这里选择了bde2020的系列镜像，因为其Githab上的资料比较完善。https://github.com/big-data-europe/docker-hadoop二、使用docker-compose进行测试网站上给出的是使用do
转载
2023-11-20 12:29:08
73阅读
概述看过很多Docker和k8s的视频和笔记，却依然搞不清楚这两者的区别与关系。鉴于最近在工作中频繁在k8s集群进行一些操作，便想基于自己这段时间的实践，谈谈自己对docker和k8s的理解。Docker和虚拟机的纠葛记得刚上大学那会儿，选的方向是“金融大数据”，有一门课程教授hadoop，这门课的最终考核之一是：在虚拟机上搭建hadoop分布式环境。搭建hadoop分布式集群意味着至少需要两台虚
转载
2024-04-07 12:05:39
71阅读
K8S与Hadoop结合
---
### 步骤概览
| 步骤 | 操作 |
|---|---|
| 1 | 部署Kubernetes集群 |
| 2 | 安装Hadoop集群 |
| 3 | 配置K8S与Hadoop的交互 |
---
### 步骤详解
#### 1. 部署Kubernetes集群
首先，我们需要在本地或者云平台上部署一个Kubernetes集群。可以使用工具如kubea
原创
2024-04-02 09:49:15
59阅读
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。正在运行的应用 pod 可能没有排除现有问题所需的所有工具。如果想执行一些需要额外权限的操作，需要重新启动应用 pod，以添加新的权限。在 docker 镜像中添加调试工具会引
转载
2024-02-07 12:52:32
31阅读
在现代的大数据领域中，Kubernetes（K8S）和Hadoop是两个非常重要的技术。Kubernetes是一个自动化容器部署、扩展和管理的开源平台，而Hadoop是一个用于分布式存储和处理大规模数据的开源框架。虽然它们都与大数据处理相关，但两者在功能、用途和架构上有很大的不同。
Kubernetes主要用于容器的部署和管理，它可以帮助开发者无缝地管理容器（比如Docker）的生命周期，从而简
原创
2024-04-11 09:53:05
277阅读
K8s pod详解Pod的介绍Pod的结构Pod定义Pod的配置基本配置镜像拉取策略启动命令环境变量（不推荐）端口设置资源配额Pod的生命周期创建和终止Pod的创建过程Pod的终止过程初始化容器钩子函数容器探测exec方式tcpSocket方式httpGet方式容器探测的补充重启策略Pod的调度定向调度nodeNamenodeSelector亲和性调度nodeAffinitypodAffinit
转载
2023-10-11 15:21:14
120阅读
文章目录一、概述二、开始编排部署1）下载 Sqoop 部署包2）构建镜像3）创建sqoop chart模板4）修改yaml编排5）开始部署6）测试验证1、数据从MYSQL导入到HDFS（Import）【1】 创建JDBC连接【2】创建HDFS连接【3】创建Job任务【4】执行Job2、数据导出（Haoop->RDBMS）7）卸载 一、概述Sqoop是一个在结构化数据和Hadoop之间进行批
转载
2024-08-09 22:18:17
44阅读
# Kubernetes 和 Hadoop：现代数据处理的结合
随着大数据时代的到来，企业越来越依赖于强大的数据处理工具。Kubernetes（简称K8s）和Hadoop是当前技术生态中两个不可或缺的组成部分。Kubernetes是一种开源容器编排工具，而Hadoop则是一个流行的大数据框架。将这两者结合在一起，可以实现更高效的资源管理和数据处理。本文将介绍K8s与Hadoop的基本概念，并提供
前言随着k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s进行对比，不禁问道：Docker 不香吗？k8s 是kubernets的缩写，’8‘代表中间的八个字符。其实 Docker 和 k8s 并非直接的竞争对手，它俩相互依存。Docker 是一个容器化平台，而 k8s 是 Docker 等容器平台的协调器。HUAWEI-Java一面-1H闲聊偏多，问的技术性问题比
转载
2024-05-16 06:44:37
66阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
**在Kubernetes中使用Hadoop**
随着大数据技术的发展，Hadoop作为一个重要的大数据处理框架，能够有效地处理海量数据。在Kubernetes上部署Hadoop可以更好地管理大数据的计算资源，并实现弹性扩展。
下面我们将介绍如何在Kubernetes上部署Hadoop，并给出具体的代码示例，帮助你快速上手。
### 步骤概述
下面是在Kubernetes上部署Hadoop
原创
2024-03-06 15:46:03
58阅读
在Kubernetes(K8s)中部署Hadoop集群是一个相对复杂的过程，但是通过一步步的指导和正确的实践，就能够轻松完成。下面我将向你详细介绍如何在K8s上实现"hadoop on k8s"，帮助你理解整个流程。
### 步骤概述
下表展示了在K8s上部署Hadoop集群的主要步骤和需要的操作：
| 步骤 | 操作 | 代码示例
原创
2024-03-13 10:26:47
107阅读
## Hadoop与Kubernetes：大数据与容器编排的完美结合
在大数据处理领域，Hadoop一直是最受欢迎的框架之一。而在容器编排领域，Kubernetes成为了事实上的标准。将Hadoop与Kubernetes结合起来，可以将大数据处理的强大能力与容器编排的灵活性相结合，为大数据应用提供更好的可扩展性、弹性和可管理性。本文将介绍如何使用Hadoop在Kubernetes上进行大数据处理
原创
2023-08-03 16:39:41
84阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
599阅读
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
