1. HDFS部署 (k8s)hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署 目前文中的这种hdfs on k8s方式做高可用不太方便1.1 配置文件hdfs-conf.yamlapiVersion: v1
kind: ConfigMap
metadata:
namespace: dev-flink-plat
name: kube-
转载
2023-09-24 22:20:24
398阅读
写在前面一、大数据全栈头两节讲完HDFS & MapReduce，这一部分聊一聊它们之间的“人物关系”。其中也讨论下k8s的学习必要性。Ref: [Distributed ML] Yi WANG's talk 二、知识点容器技术与KubernetesGoto: 3 万容器，知乎基于Kubernetes容器平台实践Goto: 如何学习、了解kubern
转载
2023-07-19 15:38:53
256阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。正在运行的应用 pod 可能没有排除现有问题所需的所有工具。如果想执行一些需要额外权限的操作，需要重新启动应用 pod，以添加新的权限。在 docker 镜像中添加调试工具会引
转载
2024-02-07 12:52:32
31阅读
K8s pod详解Pod的介绍Pod的结构Pod定义Pod的配置基本配置镜像拉取策略启动命令环境变量（不推荐）端口设置资源配额Pod的生命周期创建和终止Pod的创建过程Pod的终止过程初始化容器钩子函数容器探测exec方式tcpSocket方式httpGet方式容器探测的补充重启策略Pod的调度定向调度nodeNamenodeSelector亲和性调度nodeAffinitypodAffinit
转载
2023-10-11 15:21:14
120阅读
一、前言本文使用两个机器 192.168.100.150 是master节点，192.168.100.151 是node1 节点，如下：演示三个示例，第一个示例wordpress博客系统是指将别人的镜像部署在k8s；第二个示例springboot项目在第一个示例的基础上再进一步，是指自己从零开始写一个web项目生成jar然后打成镜像，最后部署在k8s；第三个示例在第二个示例的基础上再进一步，是模拟
转载
2024-05-28 17:06:15
52阅读
简单说明：部署K8S最大的难题是镜像下载可以使用阿里云容器镜像服务由海外机器构建国内同时可以使用阿里云的镜像加速器加速镜像下载仅需要将含有相关镜像的Dockerfile提交到阿里云即可申请云Code代码托管账号作为代码源可以绑定到阿里云镜像仓库的代码托管服务有很多，这里选用云Code登陆阿里云：https://www.aliyun.com打开云Code账户设置：https://code.aliyu
转载
2024-03-29 18:50:56
134阅读
k8s 最简单的一主二从本地集群部署 并部署镜像（2、部署集群）master节点方式一：方式二：报错解决及其他：端口占用重新加入节点k8s版本和docker版本不兼容 master节点master节点部署有两种方式方式一：使用kubeadm工具直径命令部署master方式二：运用k8s内置安装工具kubeadm拉取配置文件部署master（建议直接方式二！！！！！）方式一：kubeadm ini
转载
2024-02-16 11:29:19
229阅读
目录一、Docker简介1、3个核心概念2、镜像与可写层驱动3、Docker组件4、Kata Containers二、K8s系统基础1、容器编排1.1、定义1.2、为用户提供关键能力2、集群概述1、集群概括Pod2、集群架构1、主节点组件说明etcdcontroller-manager调度器2、工作节点组件说明kubelet容器运行时kebe-porxy3、核心组件及常用附件网络插件CoreDN
转载
2024-02-20 13:56:31
125阅读
资源类型资源简称nodenonamespacesnsdeploymentdeployReplicaSetrspodposervicesvcingressingDaemonSetsdsStatefulSetsstsConfigMapcmPersistentVolumepvPersistentVolumeClaimpvcHorizontalPodAutoscalerhpaComponentStatus
转载
2024-03-06 07:19:30
46阅读
k8s 最简单的一主二从本地集群部署 并部署镜像（1、基础环境搭建）环境基础创建基础物理机创建基础镜像机基础镜像环境准备基础镜像软件准备 环境基础3台CentOS7主机：
master主机： k8s主节点（2核2g）
node1主机： 运行节点1（2核4g）
node2主机： 运行节点2（2核4g）
k8s版本： v1.19.*
docker版本： 19.03.13
ip（/et
转载
2024-02-18 21:08:27
273阅读
一. 前言在传统的部署方式中，当需要升级集群中的某个服务时，需要停止该服务相关的Pod，pull最新的docker镜像，然后重新启动。 如果一下把所有Pod都停止，服务在升级的时间内会不可用。因此，Kubernetes提供了滚动升级的功能，一次只更新一小部分副本，成功后，再更新更多的副本，最终完成所有副本的更新，最大好处是零停机，整个更新过程始终有副本在运行，从而保证了业务的连续性。二. 环境准备
转载
2024-02-22 20:07:03
402阅读
k8s集群部署选择使用kubeadm这一工具来部署kubernetes集群。1. 安装要求本次预计部署具有一个master、两个node的k8s集群在开始之前，部署Kubernetes集群机器需要满足以下几个条件：多台机器或虚拟机，本次选择使用系统为 CentOS7.9-86_x64的三台虚拟机进行操作硬件配置：RAM2GB以上，CPU2个以上，硬盘30GB以上可以访问外网，需要拉取镜像，如果服务
转载
2023-07-29 19:35:47
223阅读
前言随着k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s进行对比，不禁问道：Docker 不香吗？k8s 是kubernets的缩写，’8‘代表中间的八个字符。其实 Docker 和 k8s 并非直接的竞争对手，它俩相互依存。Docker 是一个容器化平台，而 k8s 是 Docker 等容器平台的协调器。HUAWEI-Java一面-1H闲聊偏多，问的技术性问题比
转载
2024-05-16 06:44:37
66阅读
# Kubernetes 和 Hadoop：现代数据处理的结合
随着大数据时代的到来，企业越来越依赖于强大的数据处理工具。Kubernetes（简称K8s）和Hadoop是当前技术生态中两个不可或缺的组成部分。Kubernetes是一种开源容器编排工具，而Hadoop则是一个流行的大数据框架。将这两者结合在一起，可以实现更高效的资源管理和数据处理。本文将介绍K8s与Hadoop的基本概念，并提供
**在Kubernetes中使用Hadoop**
随着大数据技术的发展，Hadoop作为一个重要的大数据处理框架，能够有效地处理海量数据。在Kubernetes上部署Hadoop可以更好地管理大数据的计算资源，并实现弹性扩展。
下面我们将介绍如何在Kubernetes上部署Hadoop，并给出具体的代码示例，帮助你快速上手。
### 步骤概述
下面是在Kubernetes上部署Hadoop
原创
2024-03-06 15:46:03
58阅读
在Kubernetes(K8s)中部署Hadoop集群是一个相对复杂的过程，但是通过一步步的指导和正确的实践，就能够轻松完成。下面我将向你详细介绍如何在K8s上实现"hadoop on k8s"，帮助你理解整个流程。
### 步骤概述
下表展示了在K8s上部署Hadoop集群的主要步骤和需要的操作：
| 步骤 | 操作 | 代码示例
原创
2024-03-13 10:26:47
107阅读
## Hadoop与Kubernetes：大数据与容器编排的完美结合
在大数据处理领域，Hadoop一直是最受欢迎的框架之一。而在容器编排领域，Kubernetes成为了事实上的标准。将Hadoop与Kubernetes结合起来，可以将大数据处理的强大能力与容器编排的灵活性相结合，为大数据应用提供更好的可扩展性、弹性和可管理性。本文将介绍如何使用Hadoop在Kubernetes上进行大数据处理
原创
2023-08-03 16:39:41
84阅读
一、初始花基本环境 1.主机环境信息系统主机名主机IP地址配置说明AlmaLinux release 8.6 (Sky Tiger)master01192.168.3.31k8s管理节点，VIP192.168.3.30AlmaLinux release 8.6 (Sky Tiger)master02192.168.3.32k8s管理节点，VIP192.168.3.30AlmaLinux relea
转载
2024-02-26 22:30:23
144阅读
文章目录一、概述二、开始部署1）添加源2）构建镜像 Dockerfile3）修改配置4）开始安装5）测试验证6）卸载 一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比
转载
2023-08-04 13:35:09
597阅读
