环境描述服务器名称系统配置Srv01.contoso.comCentOS 7、Kafka_2.11-1.1.0IP：172.16.48.163Srv02.contoso.comCentOS 7、Kafka_2.11-1.1.0IP：172.16.48.149Srv03.contoso.comCentOS 7、Kafka_2.11-1.1.0IP：172.16.48.154Zookeeper集群安装
zookper 运行机制(以 Hadoop HA 为例):
1),zookeeper 使用目录树维护集群信息, 首先在目录树上创建成功节点的namenode为active
2),zeekeeper 主节点为每个从节点准备一个 message quene,通过 message quene 来实现事件的触发
3), Hadoop HA 是由 ZKFC 进程与 zookeeper 进行
前言概述Kafka是一个多分区、多副本的分布式流处理平台，以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。应用场景（1）缓冲削峰：有利于解决生产消息和消费消息的处理速度不一致的情况，不会因为突发超负荷请求而崩溃，消息队列能够使用关键组件顶住突发和访问压力
（2）解耦：允许独立的扩展或修改队列两边的处理过程
（3）异步通信：允许用户将消息放入队列但不立即处理它消息队列类型（1）点
Kafka集群部署1.1 集群规划为了提高性能，推荐采用专用的服务器来部署kafka集群，尽量与hadoop集群分开，因为kafka依赖磁盘读写和大的页面缓存，如果和hadoop共享节点的话会影响其使用页面缓存的性能。 Kafka集群的大小需要根据硬件的配置、生产者消费者的并发数量、数据的副本个数、数据的保存时长综合确定。 磁盘的吞吐量尤为重要，因为通常kafka的瓶颈就在磁盘上。 Kafka依赖
Kafka 3.3.1 Kraft 多端口协议搭建序Kafka 3.3.1 已经出来挺久了，很多公司还停留在 1.X/2.X 甚至 0.8 版本的 kafka，不是说不能用，但是用起来真的糟糕，况且现在 Kraft 已经正式推出了，早就该更新了。本篇文章从实践角度出发，使用真实的搭建手册改编，带领大家搭建多网卡、多端口、多认证的 Kafka 3.3.1 on Kraft。预计效果，内部通信的非认证
一、事前准备 1.kafka官网：http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:（linux） 192.168.145.129 主机名：kafk
Consumer APIConsumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢复后继续消费。所以 offset 的维护是 Consumer 消费
1.PXE安装一台服务器 域名(example.cn) 主机名: 个人姓名全拼 (比如:个人姓名全拼.example.cn) zhangjianxin.example.cn IP地址: MAC地址: IP地址和mac地址见: 高可用0308.xlsx (每位同学的vip与mac地址唯一) 1) /et
kafka-broker配置
常规配置常规配置指的是一些在使用单机安装时可以直接使用的默认值，这可以满足大部分的开发需求。但是在部署到其他环境时，需要格外小心，这些参数是单个服务器最基本的配置，他们中的大部分需要经过修改之后才可以用在生产环境里broker.id
每个broker都需要有一个标识符，使用broker.id来表示。默认值为0，在部署到生产环
kafka服务端有很多参数配置，涉及使用，调优的各个方面，虽然这些参数大多数情况下不需要更改，但了解这些参数，在做kafka调优的时候很重要。zookeeper.connect该参数指明broker要连接zookeeper集群的服务地址和端口号，没有默认值，且为必填参数。kafka默认连接到zookeeper的根路径下，可以通过chroot改变默认路径，使用chroot参数，可以使得一套zk部署多
本文档的参数主要针对是kafka 0.10.0版本。kafka broker 配置对应kafka安装目录config/server.properties文件的配置broker.id每一个Kafka的broker都有一个整数的标识。我们设置broker.id来标识它。默认这个整数是0。这个整数必须是在一个集群中是唯一的，且必须>=0。推荐该值能对应上broker所在的主机名。port该值是监听
一、部署部署Kafka前需先部署Zookeeper两台虚拟机（CentOS Linux 7）：
192.168.190.200 master
192.168.190.201 slave1
所有节点都执行（hadoop用户）
1. 下载 Kafka，安装版本：kafka_2.11-2.2.1.tgz，放于 /opt/ 目录下
2. 解压
$ cd /opt
$ ta
目录1. 认识kafka1. 搭建单机kafka2. 单机基准测试3. 搭建 kafka伪集群(待补充)4. kafka 基本概念5. 幂等性 1. 认识kafka1. 搭建单机kafka将kafka的安装包上传到虚拟机，并解压cd /usr/loacl/
tar -zxvf kafka_2.13-2.6.0.tgz
cd /usr/local/kafka_2.13-2.6.0修改 serve
在前一篇：kafka学习1：kafka安装 中，我们安装了单机版的Kafka，而在实际应用中，不可能是单机版的应用，必定是以集群的方式出现。本篇介绍Kafka集群的安装过程： 一、准备工作 1、开通Zookeeper和Kafka需要的端口 在 zookeeper-端口说明 中，我们可以看到Zo
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录Kafka集群操作1.搭建kafka集群（三个broker）2.副本的概念---replication集群消费分区分消费组的集群消费中的细节⼀个partition只能被⼀个消费组中的⼀个消费者消费，⽬的是为了保证消费的顺序性 Kafka集群操作1.搭建kafka集群（三个broker）创建三个server.propertie
1.kafka基本原理简介1.1名词简介： 1.producer：
消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
kafka 集群中包含的服务器。
3.topic：
每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
partition 是物理上的概念，每个 topic 包含一个或多个
一、Kafka集群部署方案规划1、操作系统选择通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下：（1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。（2）网络传输效率的差别。Kafka需要在磁盘和网络间进行
文章目录准备集群安装1、创建目录2、解压缩安装包3、修改配置文件4、启动5、查看集群是否安装成功测试Kafka1、创建测试mytopic2、查看mytopic副本信息3、查看已创建topic列表信息4、创建Producer5、创建Consumer6、删除mytopic7、停止kafka 准备1、首先安装zookeeper作为为集群提供高可用 2、准备kafka按装包kafka_2.11-2.1.
KAFKA跨主机部署网络不通解决思路问题背景：Kafka的部署不仅需要集群可用，同时需要对orderer节点可连，这就是为什么有的时候，kafka集群本身没问题，但是orderer却总是报错。为了试验kafka剥离方案的可行性，跨阿里云网络和内网进行BAAS部署。部署环境如下：K8s部署在阿里云环境上，
192.168.8.108可连外网，作为master；
192.168.8.107不能连外网，
什么是Kafka？Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。最新官方给Kafka的定义是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。Kafka集群的搭建部署服务器发行版本为CentOS7 ✖️ 三台（已安装好Java环境），三台服
