目录一、Kafka概述1）Kafka的特性2）应用场景二、Kafka架构简介写入流程三、Kakfa的设计思想四、Zookeeper在Kafka中的作用1）记录和维护broker状态2）控制器（leader ）选举3）限额权限4）记录 ISR（已同步的副本）5）node 和 topic 注册6）topic 配置五、Leader选举1）控制器（Broker）选举Leader机制2）分区副本选举Lead
作者：李毓下面演示一下在K8S集群中安装KAFKA集群。前提仍然是前面讲述的已经安装好了K8S集群，并且具备CEPH存储的条件。添加仓库，由于国外被墙了，我们用阿里云的。helmrepoaddaliyuncshttps://apphub.aliyuncs.comhelmsearchrepokafkaNAMECHARTVERSIONAPPVERSIONDESCRIPTIONaliyuncs/kafk
原创
2021-03-19 23:30:24
5100阅读
一、基础说明 Kafka和zookeeper是两种典型的有状态的应用集群服务。首先kafka和zookeeper都需要存储盘来保存有状态信息；其次kafka和zookeeper每一个实例都需要有对应的实例Id (Kafka需broker.id, zookeeper需要my.id) 来作为集群内部每个
原创
2022-01-14 09:48:20
3753阅读
点赞
一、基础说明Kafka和zookeeper是两种典型的有状态的应用集群服务。首先kafka和zookeeper都需要存储盘来保存有状态信息；其次kafka和zookeeper每一个实例都需要有对应的实例Id (Kafka需broker.id, zookeeper需要my.id) 来作为集群内部每个成员的标识，集群内节点之间进行内部通信时需要用到这些标识。 对于这类服务的部署，需要解决两个大的问题
原创
2021-04-10 15:22:25
2239阅读
1评论
k8s集群部署02k8s集群部署02仍然报错若镜像拉取过慢原因 k8s集群部署02一、pod基本操作Pod是可以创建和管理Kubernetes计算的最小可部署单元，一个Pod代表着集群中运行的一个进程，每个pod都有一个唯一的ip。一个pod类似一个豌豆荚，包含一个或多个容器（通常是docker），多个容器间共享IPC、Network和UTC namespace。kubectl常用命令kubec
1 环境说明 补充: kubernetes集群的控制节点我打了污点不能被pod调度使用。 zookeeper镜像: guglecontainers/kubernet
主要了://stackoverflow.com/questions/446
转载
2022-04-22 16:29:17
6786阅读
点赞
2评论
主要参考了https://stackoverflow.com/questions/44651219/kafka-deployment-on-minikube和https://github.com/ramhiser/kafka-kubernetes两个项目，但是这两个项目都是单节点的Kafka，我这里尝试将单节点Kafka扩展为多节点的Kafka集群。一、单节点Kafka要搭建Kafka集群，还是要从单节点开始。1.创建Zookeeper服务zookeeper-svc.yaml和zookeeper
转载
2020-06-16 00:05:21
3402阅读
1评论
博客一一、概述在k8s里面部署kafka、zookeeper这种有状态的服务，不能使用deployment和RC，k8s提供了一种专
Kubernetes部署ElasticSearch集群1.前提准备工作1.1 创建elastic的命名空间namespace编排文件如下：elastic.namespace.yaml
---
apiVersion: v1
kind: Namespace
metadata:
name: elastic
---创建elastic名称空间$ kubectl apply elastic.names
glusterfs 卷类型)，查阅了一下K8S官方最新版本的存储相关(Storage/Volumes)的说明，综合最新存储支持情况，我们选择Ceph作为K8S集群的存储提供者。 首先，进入Ceph官网文档查看其安装部署方法，主要看下是否有基于K8S的安装方法，最后在官网“Installing ceph>Recommended methods”(推荐的Ceph安装方法)果然发现了基
一 kubernetes基础环境搭建 1.1 kubernetes集群规划 1.1.1 部署架构 略 1.1.2 服务器规划 类型
目录服务器资源配置文件创建redis服务redis集群资源清单初始化集群集群验证验证方式一验证方式二集群使用集群暴露连接redis集群 服务器资源k8s中有三台worker节点192.168.1.100192.168.1.101192.168.1.102配置文件创建配置字典，挂载redis的配置文件key为redis.confvalue为：appendonly yes
cluster-enabl
一、利用ansible部署kubernetes准备： 集群介绍 本系列文档致力于提供快速部署高可用k8s集群的工具，并且也努力成为k8s实践、使用的参考书；基于二进制方式部署和利用ansible-playbook实现自动化：既提供一键安装脚本，也可以分步执行安装各个组件，同时讲解每一步主要参数配置和注意事项；二进制方式部署有助于理解系统各组件的交互原理和熟悉组件启
1.Kubernetes 1.1.概念 kubernetes（通常称为k8s）用于自动部署、扩展和管理容器化应用程序的开源系统。它旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”。支持一系列容器工具 ，包括Docker等。 1.2.特点 1）可移植：支持公有云、私有云、混合云、多重云
转载
2022-07-20 14:54:21
366阅读
1、环境要求
（1）一台或多台机器，操作系统CentOS 7.x-86_x64
（2）硬件配置：内存2GB或2G+，CPU 2核或CPU 2核+；
（3）集群内各个机器之间能相互通信；
（4）集群内各个机器可以访问外网，需要拉取镜像；
（5）禁止swap分区；
如果环境不满足要求，会报错，比如：
2、Kubernetes安装具体步骤
一、首先安装docker
(9条消息) 最新版的docke
原创
2021-09-16 17:30:47
401阅读
点赞
1、环境规划 2、安装Docker 3、自签TLS证书 4、部署Etcd集群 5、部署Flannel网络 6、创建Node节点kubeconfig文件 7、获取K8S二进制包 8、运行Master组件 9、运行Node组件 10、查询集群状态 11、启动一个测试示例 12、部署Web UI (Dashboard)**1.环境规划**角色 IP 组件ma
原创
2019-04-09 15:34:22
714阅读
点赞
部署一套完整的企业级K8s集群 一、前置知识点 1.1 生产环境部署K8s集群的两种方式 • kubeadm Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。 • 二进制包 从github下载发行版的二进制包，手动部署 ...
转载
2021-08-20 15:36:00
249阅读
点赞
