我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm，主要解决当时公司内部业务项目部署繁琐的问题，我记得当时项目实现容器化之后，花在项目部署运维的时间大大减少了，当时觉得这玩意还挺新鲜的，原来自动化运维可以这么玩。后面由于工作原因，很久没碰过容器方面的知识了。最近在公司的数据同步项目中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使
转载
2024-03-21 11:51:04
64阅读
Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： • 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 • 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 • 支持Kafka Server间的消息
Kafka是一个分布式消息系统，而Kubernetes（K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。将Kafka部署在K8S集群中可以带来很多好处，比如更好地利用资源、实现高可用性等。在本文中，我将教你如何在K8S中部署一个单机的Kafka实例。
整个过程可以分为以下步骤：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 创建K8S集群 |
|
原创
2024-03-12 11:56:49
83阅读
文章目录@[toc]构建 debian 基础镜像部署 zookeeper配置 namespace配置 gfs 的 endpoints配置 pv 和 pvc配置 configmap配置 service配置 statefulset部署 kafka配置 configmap配置 service配置 statefulset这里采用的部署方式如下：
使用自定义的 debian 镜像作为基础镜像
文章目录traefik实战:1. 创建rbac认证2. 直接在集群中创建即可3. 部署traefik服务4. 直接创建上面的资源对象即可5. 访问traefik 的 dashboard6. 创建Ingress 对象7. 测试访问7.1 查看traefik HEALTH7.2 优化;让ingress直接监控宿主机的80端口7.3 创建namespace并暴露端口7.4 pod直接使用宿主机网络；多
转载
2024-10-01 10:51:41
137阅读
Kubernetes (K8s) 是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。而Kafka是一个高吞吐量的、分布式的发布订阅消息系统。本文将介绍如何在Kubernetes上进行单机部署Kafka，并提供相应的代码示例。
一、准备工作
在开始部署之前，需要准备以下环境：
1. 安装Docker和Kubernetes，确保集群正常运行。
2. 获取Kafka镜像，可以从官方仓
原创
2024-01-31 11:41:11
488阅读
K8S部署Kafka单机
作为一名经验丰富的开发者，我将帮助小白实现在K8S上部署Kafka单机的过程。首先，我们来看一下整个部署的流程：
| 步骤 | 说明 |
| -------- | -------------- |
| 步骤一 | 创建K8S命名空间 |
| 步骤二 | 创建PV（持久卷）和PVC（持久卷声明） |
| 步骤三 | 部署Kafka Pod |
| 步骤四 | 部署Kaf
原创
2024-01-31 11:51:42
284阅读
在Kubernetes（K8S）集群中搭建Kafka单机模式是一个常见的实践，可以帮助我们更好地管理和部署Kafka实例。下面我将介绍如何在K8S中搭建Kafka单机模式，并带有详细的代码示例。
### 搭建Kafka单机模式流程：
1.创建Kafka服务
2.创建Kafka持久化存储
3.创建Zookeeper服务
4.将Kafka和Zookeeper进行关联
5.暴露Kafka服务
原创
2024-04-10 10:11:22
132阅读
最近用青瓷引擎制作的HMLT5小游戏，斗地主，分享下自己的开发过程，也是自己的一些总结
最近学习使用了一款HTML5游戏引擎(青瓷引擎)，并用它尝试做了一个斗地主的游戏，简单实现了单机对战和网络对战，代码可已放到github上，在此谈谈自己如何通过引擎来开发这款游戏的。 客户端代码 服务端代码 (点击图片进入游戏
一、什么是k8s k8s是分布式系统集中式管理。它可以看作是一个分布式系统支撑平台。二、为什么要用k8s，它有什么好处 1、 开发人员发布的是镜像，镜像里面是包括环境和包括代码。所以说本地和线上的运行环境是一样的。不会存在本地可以。发布到线上之后各种问题。或者说吧这种问题降到最低。 2、 省去开发人员和运
转载
2024-03-11 15:58:37
130阅读
目录一、安装存储日志组件 Elasticsearch1.1 创建名称空间1.2 安装 elasticsearch 组件1）创建 headless service 服务2）通过 statefulset 创建 elasticsearch 集群二、安装 kibana 可视化 UI 界面一、安装存储日志组件 Elasticsearch1.1 创建名称空间 &n
转载
2024-03-27 10:33:15
133阅读
文章目录1. 安装helm1.1. 安装helm1.2. Helm基本命令2. 部署zookeeper与kafka2.1. 下载chart包2.2. 部署zookeeper2.2.1. 编辑values2.2.2. 安装2.3. 安装kafka2.3.1. 编辑values2.3.2. 基础配置2.3.3. 高可用配置2.3.4. 安装3. 调试3.1. 查询、创建3.2. 生产、消费3.3. 修
转载
2024-02-18 21:33:55
656阅读
k8s–基础–24.2–efk–安装前准备1、上次镜像和配置文件1.1、上传efk组件需要的镜像到 k8s集群的各个节点1.2、实验之前需要把镜像上传到k8s集群的各个节点，并解压cd /root/efk
docker load -i busybox.tar.gz
docker load -i elasticsearch_7_2_0.tar.gz
docker load -i fluentd.t
转载
2024-05-13 21:23:56
116阅读
背景随着业务规模的发展，需要的kafka集群越来越来，这给部署与管理带来了很大的挑战。我们期望能够利用K8S优秀的扩容能力与快速部署能力，为日常的工作减负。所以就kafka上K8S的可行性方案进行了调研。像kafka集群这种，涉及到的组件比较多，且都是有状态的集群，业界采用自定义operator的解决方案。目前GitHub上有多个相关的仓库，根据社区活跃度及使用数等综合考虑，此次采用Strimzi
转载
2024-03-21 10:31:21
309阅读
# 实现K8S单机环境搭建
如果你是一名刚入行的小白，想要学习如何搭建Kubernetes（K8S）单机环境，那你来对地方了！在本篇文章中，我将带领你逐步完成K8S单机环境的搭建过程。让我们开始吧！
## 1.准备工作
在开始之前，首先确保你的机器上已经安装了Docker和Kubectl。
## 2.安装Minikube
Minikube是一种快速部署本地K8S集群的工具，让我们来安装Min
原创
2024-05-08 10:41:51
90阅读
版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16一、介绍Elasticsearch和Kibana是一对强大的开源工具，通常一起使用以构建实时数据分析和可视化解决方案。Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上，并提供了一个分布式、可扩展的架构，用于存储、检索和分析大规模的数据。
如今的互联网就是云计算的天下啊。。运维人员考个cka证书似乎成为了必要的跳槽敲门砖了，建议各位考cka的童鞋们如果没有k8s的基本理论知识的话还是要听几堂入门课程，因为k8s里面涉及的许多概念比较抽象，必须有一定的理论基础+实战经验才能理解一些名词的含义，如pod、名字空间、网络策略、PV、容器挂载等等，自己一定要从0开始搭建一套集群，不管是kubeadm方式搭建还是二进制方式，经历了环境的搭建过
转载
2024-05-23 05:36:58
258阅读
如果之前部署过, 需要先彻底卸载如果之前部署过, 需要先彻底卸载如果之前部署过, 需要先彻底卸载。
原创
2024-03-01 10:54:40
448阅读
一、概述Apache ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务，ZooKeeper 致力于开发和维护一个开源服务器，以实现高度可靠的分布式协调，其实也可以认为就是一个分布式数据库，只是结构比较特殊，是树状结构。官网文档：https://zookeeper.apache.org/doc/r3.8.0/
Kafka是最初由 Linkedin 公
转载
2024-03-19 02:10:22
87阅读
因为kafka依赖于zk决定在一个pod中部署这两个容器 先拉取imagesdocker pull wurstmeister/zookeeper:3.4.13docker pull wurstmeister/kafka:2.13-2.8.1关于消费者组知识作用：提高消费速度，容错原理：消费者组内成员消费的实际是消费topic下的某个分区，例如同一个topic和消费组下，消费者A对应分区0,消费者B
转载
2024-02-21 22:42:12
110阅读
