如今的互联网就是云计算的天下啊。。运维人员考个cka证书似乎成为了必要的跳槽敲门砖了，建议各位考cka的童鞋们如果没有k8s的基本理论知识的话还是要听几堂入门课程，因为k8s里面涉及的许多概念比较抽象，必须有一定的理论基础+实战经验才能理解一些名词的含义，如pod、名字空间、网络策略、PV、容器挂载等等，自己一定要从0开始搭建一套集群，不管是kubeadm方式搭建还是二进制方式，经历了环境的搭建过
转载
2024-05-23 05:36:58
258阅读
一、概述Apache ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务，ZooKeeper 致力于开发和维护一个开源服务器，以实现高度可靠的分布式协调，其实也可以认为就是一个分布式数据库，只是结构比较特殊，是树状结构。官网文档：https://zookeeper.apache.org/doc/r3.8.0/
Kafka是最初由 Linkedin 公
转载
2024-03-19 02:10:22
87阅读
因为kafka依赖于zk决定在一个pod中部署这两个容器 先拉取imagesdocker pull wurstmeister/zookeeper:3.4.13docker pull wurstmeister/kafka:2.13-2.8.1关于消费者组知识作用：提高消费速度，容错原理：消费者组内成员消费的实际是消费topic下的某个分区，例如同一个topic和消费组下，消费者A对应分区0,消费者B
转载
2024-02-21 22:42:12
110阅读
我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm，主要解决当时公司内部业务项目部署繁琐的问题，我记得当时项目实现容器化之后，花在项目部署运维的时间大大减少了，当时觉得这玩意还挺新鲜的，原来自动化运维可以这么玩。后面由于工作原因，很久没碰过容器方面的知识了。最近在公司的数据同步项目中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使
转载
2024-03-21 11:51:04
64阅读
在撰写本文时，Kubernetes 已有 6 年历史[1]了，在过去的两年中，它的流行度不断提高，一直是最受欢迎的平台之一[2]。今年，它成为最受欢迎的第三大平台[3]。如果您还没有听说过 Kubernetes，告诉你它是一个平台，可以让您运行和协调容器工作负载。容器最初是一个 Linux 内核进程隔离结构，其中包含 2007 年的 cgroups[4] 和 2002 年的 namespaces[
转载
2024-06-13 19:24:59
150阅读
一、概述
在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主题了。由于没有权限控制，集群核心的业务主题时存在风险的。
转载
2024-07-23 17:13:18
192阅读
背景：k8s集群中的kafka集群运行一段时间后，数据文件过多的情况下，重启会非常困难，经常需要花费数个小时来加载log文件，这是我们不能够接受的事情。下面通过对kafka源码的分析，快照文件的工作原理，k8s的宽限时间机制来详细说明并从根源上解决这个问题日志加载源码调用链1.kafka启动以后会调用LogManager来做日志文件的加载2.LogManager的类中调用了loadLogs方法3.
转载
2024-05-21 16:36:10
79阅读
Kafka是一个开源的分布式事件流平台，而Kubernetes（简称K8s）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。将Kafka部署在K8s上可以实现高可用性、扩展性和易管理性。在本文中，我们将带领你一步步实现在Kubernetes上部署Kafka。
### 步骤概览
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 部署Zookeeper集群 |
|
原创
2024-03-18 12:55:03
84阅读
在Kubernetes（简称K8S）中使用Kafka（一种高性能分布式消息队列）可以帮助我们构建可靠的、高可用的消息系统。在本文中，我将向你介绍如何在Kubernetes中部署Kafka集群，并进行简单的消息传递。
整体流程可以分为以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 部署Zookeeper集群 |
| 2 | 部署Kafka集群 |
| 3 | 创建
原创
2024-03-05 13:00:48
100阅读
问题logstash消费速率远低于日志数量,消息堆积部署背景架构优点：1、采用kafka作为日志缓冲，在高并发情况下可以通过队列就能起到削峰填谷的作用，防止 es 集群丢失数据。 2、实现动态schema，业务可以自定义schema，方便日志检索和查询 3、每一个业务有独立的索引 2.1 elk+kafka发现问题部署后发现日志量很大，一天有几个亿，kafka中堆积了很多消息，logstash消费
转载
2024-02-29 19:18:39
49阅读
TraefikTraefik是一个用Golang开发的轻量级的Http反向代理和负载均衡器。由于可以自动配置和刷新backend节点，目前可以被绝大部分容器平台支持，例如Kubernetes，Swarm，Rancher等。由于traefik会实时与Kubernetes API交互,所以对于Service的节点变化，traefik的反应会更加迅速。总体来说traefik可以在Kubernetes中完
在 K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群 基础上调整，试kafka集群能被外部访问 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群#
一、服务版本信息：#
Kafka：v2.13-2.6.0Zookeeper：v3.6.2Kubernetes：v1.18.4二、制作 Zookeepe
转载
2024-02-15 20:37:21
290阅读
背景Kafka通过K8S容器化部署，Kafka重启过后，部分集群由于分区众多，会导致集群的启动过程异常缓慢，有部分现场出现需要几个小时才能正常。又由于Kafka的存活探针最大时长为n分钟，如果服务n分钟没有起来，会导致Kafka服务反复重启，无法恢复。通过查看Kafka启动的日志，可以2022-11-10 15:05:43.367 [pool-6-thread-2] INFO kafka.util
转载
2024-02-11 20:12:04
199阅读
文章目录一、概述二、Zookeeper on k8s 部署1）添加源2）修改配置3）开始安装4）测试验证5）Prometheus监控6）卸载三、Kafka on k8s 部署1）添加源2）修改配置3）开始安装4）测试验证1、创建Topic（一个副本一个分区）2、查看Topic列表3、生产者/消费者测试4、查看数据积压5、删除topic5）Prometheus监控6）卸载 一、概述
Apache
转载
2024-03-15 19:47:31
90阅读
Kubernetes CKA认证运维工程师笔记-Kubernetes核心概念CKA 考纲1. 有了Docker，为什么还用Kubernetes2. Kubernetes是什么3. Kubernetes集群架构与组件4. 熟悉官方文档 CKA 考纲1. 有了Docker，为什么还用Kubernetes企业需求：为提高业务并发和高可用，会使用多台服务器多容器跨主机提供服务多容器分布节点部署多容器怎么
转载
2024-06-24 04:46:37
14阅读
Kubernetes CRD 的产生举例对比，Kubernetes CRD 的好处(实际应用中的优势)Kubernetes CRD 应用场景经验分享：Kubernetes CRD 的实战项目案例应用讲解(含代码) 分享时间： 2020.10.25日(周日) 21:00-22:00 主讲师：SC 曾就职于小米，现就职于 Bat 企业。一直从事 do
转载
2024-08-29 16:02:18
59阅读
介绍ka get cm
ka describe ConfigMap ConfigMap 名称
或 ka describe cm cm名称
ka edit cm cm名称ConfigMap和Secret是Kubernetes系统上两种特殊类型的存储卷，ConfigMap对象用于为容器中的应用提供配置数据以定制程序的行为，不过敏感的配置信息，例如密钥、证书等通常由Secret对象来进行配置。它
转载
2024-03-27 13:05:19
20阅读
我们使用Kafka来进行日志的收集(没有使用Kafka来进行消息通信是考虑到我们的系统并发量少，并且微服务之间的通信有同步的需求)，系统每执行一次测试用例集的运行，就会生成一个jobID(即认为每一次执行就是一项任务，分配一个任务ID)，该jobID就作为Kafka的topic，后续所有此次任务过程中产生的log信息都会存到这个topic中，后续的ELK等模块就
转载
2024-06-25 21:19:54
54阅读
步骤如下1.安装zk:helm install zookeeper bitnami/zookeeper \
--set replicaCount=1 \
--set auth.enabled=false \
--set allowAnonymousLogin=true 2.安装kafka：helm install kafka bitnami/kafka \
--set z
转载
2024-03-27 15:47:19
174阅读
正文clusterIP: None
selector:
app: zkapiVersion: v1
kind: Service
metadata:
name: zk-cs
labels:
app: zk
spec:
ports:• port: 2181
targetPort: 2181
name: client
selector:
app: zkapiVersion: p
转载
2024-08-03 13:22:01
44阅读
