一、安装多节点zookeeper集群zookeeper下载地址：https://www-us.apache.org/dist/zookeeper/stable/首先说一下zookeeper集群只要满足“半数以上服务器存活”，就能正常提供服务，所以集群的台数最好是奇数，即2N+1台服务器，这样整个zookeeper集群最多可能容忍N台服务器宕机而依然能提供服务。如果用偶数个服务器通常会浪费一台服务器
转载
2024-03-27 11:58:52
861阅读
项目中要讲之前的消息队列改为kafka。但是之前项目中对kafka的能力储备不足。所以花了一些时间来学习，整体来说初次kafka搭建还是比较麻烦的，各种配置不能搞错。不然就会启动不了。下面是查资料总结的详细步骤。供大家参考。Zookeeper集群搭建Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。1、软件环境（3台服务器-我的测试）xx ddxx&
转载
2024-05-21 16:54:01
30阅读
为什么要迁移？业务早期单机版完全能够满足业务，但是随着业务的发展单机版已经无法满足无法实现无损磁盘扩容，只能停机扩容，这显然是不能接受的kafka 服务无法实现弹性扩缩容，没办法实现高可用和高可扩展，反应到业务上业务猛增和流量高峰期 kafka 都会成为一个隐患迁移方案梳理所有 topic要进行 kafka 迁移，显然从 topic 出发是最合理的，梳理出所有 topic 并确定每个 topic
转载
2024-09-18 13:05:53
48阅读
最近在学习分布式的消息系统kafka，特此记录搭建kafka集群过程。版本：kafka_2.11-0.9.0.1环境：VM搭建的三个虚拟机，均采用centos-6.8-64.iso机器IP与名称对应关系如下：192.168.152.192 master192.168.152.193  
转载
2024-05-11 09:57:34
61阅读
1.准备阶段1.1.新建三台虚拟机Hadoop完全分市式集群是典型的主从架构(master-slave)，一般需要使用多台服务器来组建。我们准备3台服务器(关闭防火墙、静态IP、主机名称)。如果没有这样的环境，可以在一台电脑上安装VMWare Workstation。在VM上安装三台Linux，分别是1个主节点，2个从节点，如下图所示。节点类型IP地址主机名NameNode192.168.86.1
1 ，假设取得网络地址200.200.200.0 ，子网掩码为255.255.255.0。现在一个子网有100台主机，另外4个子网有20台主机，请问如何划分子网，才能满足要求。请写出五个子网的子网掩码、网络地址、第一个主机地址、最后一个主机地址、广播地址。（
子网号可以全0和全1）
。 请直接写出最后答案。<?xml:namespace prefix = o ns = "urn
转载
2024-07-26 11:34:47
86阅读
利用kafka自带的zookeeper搭建kafka集群 搭建kafka集群是需要zookeeper的，可是kafka自身就已经带了一个zookeeper，所以不需要额外搭建zookeeper的集群，只需要将kafka自带的zookeeper配置成一个集群就可以。目录1、kafka的下载和安装2、配置zookeeper3、配置kafka4、启动zookeeper集群5、启动
转载
2024-07-03 20:17:59
169阅读
Zookeeper集群搭建Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。1、软件环境（3台服务器-我的测试）192.168.30.204 server1192.168.30.205 server2192.168.30.206 server31-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中
转载
2024-04-10 12:05:00
58阅读
一、定义Apache Kafka 是一款开源的消息系统。可以在系统中起到“肖峰填谷”的作用，也可以用于异构、分布式系统中海量数据的异步化处理。系统包括四个主要API:系统包括四个主要API: 二、功能介绍1) Topics and logTopic 是发布记录的类别或订阅源名称。Kafka 的topic 会关联用户；一个topic 可以有 0个或多个Consumer 订阅写入它的数据。K
目录1.集群规划2.下载kafka安装包3.安装kafka4.创建软连接5.添加到环境变量6.修改kafka配置文件 server.properties7.在安装目录下创建kafka-logs文件夹（本例中，安装目录是：/usr/local/kafka）8.将配置好的kafka安装包拷贝到其他节点，并创建软连接9.分别修改其他节点的配置文件 server.properties10.分别在node0
转载
2023-08-19 20:04:14
25阅读
计算公式看起来很简单：一台KVM主机配置了16GB内存，如果每台虚拟机的内存大小为512MB，那么你最多应该能够运行32台虚拟机。然而通过应用某些技巧，可以优化内存使用并能够在物理服务器上运行更多的虚拟机。首先，你需要记住从hypervisor的角度看，一台KVM虚拟机仅仅是一个Linux进程，这意味着其遵循有关虚拟以及常驻内存的通用法则。当KVM虚拟机启动时，KVM虚拟机设置指向虚拟内存地址的指
转载
2024-02-17 20:34:56
168阅读
Kafka是一个分布式的消息发布订阅系统，Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。今天先不介绍相关概念了由于项目之前用到这个东西安装过了段时间怕忘了，抽时间记录下分布式记录搭建过程。这里用的三台虚拟机的ip地址为192.168.70.100~102，由于kafka需要zookeeper来管理，所以搭建kafka集群的前提是先安装zookeeper集
转载
2024-07-17 23:06:22
336阅读
（1）kafka的一个基本架构：多个broker组成，一个broker是一个节点；你创建一个topic，这个topic可以划分成多个partition，每个partition可以存在于不同的broker上面，每个partition存放一部分数据。这是天然的分布式消息队列。实际上rabbitmq并不是分布式消息队列，他就是传统的消息队列，只不过提供了一些集群、HA的机制而已，因为无论如何配置，rab
转载
2024-03-29 09:02:00
88阅读
KafkaController是Kafka集群的控制管理模块，负责集群中Topic的创建、分区的重新分配以及分区副本Leader的重新选举等管理集群的功能。虽然每个Broker Server都有一个KafkaController模块，但是有且有一个处于leader状态的KafkaController模块对外提供管理服务。下面介绍一下KafkaController的选举策略。在kafka内部，所有的
转载
2024-04-25 17:09:07
45阅读
部署三台kafka服务集群安装Java环境sudo yum update
sudo yum install java-1.8.0-openjdk-devel
java -version准备kafka安装包kafka_2.13-2.8.2.tgz上传到服务器解压缩tar -xzf kafka_2.13-2.8.2.tgz建立软链接ln -s /opt/kafka_2.13-2.8.2 /opt/ka
原创
2024-06-06 18:32:57
114阅读
一、Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka场景比喻接下来我大概比喻下Kafka的使用场景消息中间件：生产者和消费者妈妈：生产者你：消费者馒头：数据流、消息正常情况下： 生产一个 消费一个其他情况： 1）一直生产，你吃到某一个馒头时，你卡主(机器故障)， 馒头就丢失了2）一直生产，做馒头速度快，
转载
2024-07-18 21:47:21
25阅读
1、简介本主题提供使用复制的 ZooKeeper ensemble在多节点环境中安装可用于生产的Confluent平台配置的说明。使用这种安装方法，您可以手动连接到每个节点，下载归档文件，并运行Confluent Platfrom安装命令。注：您必须为集群中的每个节点完成这些步骤。前提条件 在安装Confluent平台之前，您的环境必须具备以下软件和硬件需求。2、获取软件1、进入下载页面，选择您的
Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。
1、软件环境
（3台服务器-我的测试）
192.168.0.10 master
192.168.0.11 slave1
192.168.0.12 salve2
1、Linux服务器一台、三台、五台、（2*n+1），Zo
转载
2024-03-27 17:07:39
72阅读
Zookeeper集群搭建Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。1、软件环境（3台服务器-我的测试）192.168.7.100 server1192.168.7.101 server2192.168.7.107 server31、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超
转载
2024-07-23 09:41:55
92阅读
K8s集群可以有多少个pod
在Kubernetes（简称K8s）集群中，一个集群可以有不同数量的pod。Pod是Kubernetes的基本调度单位，它是一组相关的容器的集合，这些容器以弹性的方式运行在同一主机上。每个Pod都有一个唯一的IP地址，这使得它们可以在集群内进行通信。在本文中，我将详细介绍如何在K8s集群中创建和管理多个Pod。
整体流程：
1. 安装和配置Kubernetes集
原创
2024-01-26 13:09:39
79阅读
