Kafka的基本使用1. kafka安裝1.1 安装命令1.2 参数说明1.3 注意事项2. Kafka基本概念3. Kafka生产与消费3.1 简单消费写法3.1.1 配置消费者3.1.2 具体消费3.2 生产者3.2.1 生产者配置3.2.2 生产者使用 1. kafka安裝对于后端开发而已，不宜在环境安装方面耗费宝贵的精力。相对于tar包安装等方式，docker安装省时省力。下面主要介绍，
转载
2024-10-16 16:14:08
72阅读
本文从实践的角度介绍了kafka的安装方法、简单使用、和相关API（java和python）的使用，结合上一篇文章的简介和原理，可以对Kafka有一个比较基础的理解和认识，并在工程中对其进行灵活运用。
（一）Apache Kafka安装1、安装环境与前提条件 安装环境：Ubuntu16.04 前提条件：ubuntu系统下安装好jdk 1.8以上版本，
转载
2024-04-12 09:54:12
60阅读
解决和排查kafka安装过程中，由于kafka安装版本所使用zookeeper版本与本地zookeeper安装版本不兼容，导致kafka无法连接zookeeper的原因而导致kafka无法启动的问题 文章目录摘要问题描述和错误展现方式问题排查思路和解决步骤排查思路确定本地zookeeper能够正常启动和正常连接确定Kafka能够正常启动问题总结解决步骤更换kafka版本更换zookeeper版本
转载
2024-02-19 07:59:16
78阅读
相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢？仅仅只是减少了一个外部依赖吗？答案显然不会这么简单，容我慢慢道来。在解答为什么之前，我觉得非常有必要先来阐述一下Zookeeper的经典使用场景。1、Zookeeper的经典使用场景zookeeper是伴随着大数据、分布式领域的兴起。大数据中的一个非常重要的议题是
转载
2024-04-01 15:42:41
77阅读
一、Zookeeper集群安装 要求：zookeeper的 jdk 要 6以上zookeeper生产环境版本为 3.4.81.首先编辑/Etc/Hosts1. 在5台都加入：
2. 10.0.50.10 zk-kafka01
3. 10.0.50.11 zk-kafka02
4. 10.0.50.12 zk-kafka03
5. 10.0.50.13 zk-kafka
转载
2024-08-13 16:46:28
39阅读
目录前言：集群规划一、安装zookeeper1.解压文件并重命名2.创建zk数据目录3.修改配置文件 4.文件分发并修改配置文件5.编写启动脚本二、安装kafka 1.解压文件并重命名2.修改配置文件3.分发后修改配置文件4.配置环境变量5.编写启停脚本前言：集群规划linux01linux02linux03zkzkzkkafkakafkakafka一、安装zookeeper1
转载
2024-04-13 13:49:10
64阅读
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-03-15 09:57:22
110阅读
目录准备安装jdk下载kafkaZookeeperkafka配置启动准备准备三台虚拟机192.168.10.12
192.168.10.13
192.168.10.14安装jdk每台设备安装yum install java-1.8.0-openjdk下载之后默认的目录为： /usr/lib/jvm/验证[root@localhost ~]# java -version
openjdk v
转载
2024-06-27 15:05:26
127阅读
Kafka概念kafka是一个分布式基于发布-订阅模式的高吞吐量、高水平拓展的消息流中间件。 【重点：高吞吐量】 kafka的基础架构中主要包含的角色有：broker、生产者、消费者；当前还包含zookeeper。 生产者：负责发送消息。 消费者：负责处理消费消息。 broker：负责存储缓冲消息，创建topic，有partition分区和replication的概念。【在0.9版本之前，kafk
转载
2024-03-27 05:45:12
58阅读
## Docker安装Kafka不需要安装ZooKeeper使用外部ZooKeeper
在Kafka的分布式系统中，ZooKeeper是必需的，它用于保存集群的元数据、监控集群的健康状况以及协调Kafka的分布式操作。然而，有时候我们可能已经有了一个外部的ZooKeeper集群，这时我们就不需要在Docker中安装ZooKeeper了，可以直接使用外部的ZooKeeper。
下面我们将介绍如何
原创
2023-08-30 15:07:27
663阅读
在安装Kafka之前首先需要安装JDK和Zeekeeper。以上工作完成后，我们开始Kafka的安装。1、通过wget下载kafka到本机sudo wget http://mirrors.shu.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz2、解压sudo tar -zxvf kafka_2.12-2.0.0.tgz3、编辑kafka的配置#创建日志
转载
2024-04-28 06:53:22
44阅读
linux | linux 安装kafka | 安装zk | 安装zookeeper
原创
2022-11-25 11:10:51
808阅读
CentOs6.5安装Kafka集群步骤1.配置单个虚拟机1.1下载kafka安装包打开浏览器，输入网址： http://kafka.apache.org/downloads.html。每台机器的环境：CentOs 6.5 ，Java 1.8 ,kafka2.11自带Zookeeper。 1.2压缩包操作下载完成后，打开终端，在命令行输入 cd /Download，然后输入l
转载
2024-05-30 08:49:12
151阅读
除了基本的console-producer和console-consumer脚本可以用于简单测试消息的发送和接收外，kafka还提供了性能吞吐量测试脚本，它们分别是kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh脚本。一、生产者吞吐量kafka-producer-perf-test.sh是用于测试生产者吞吐量的，具体命令入下bin/ka
转载
2023-12-18 22:44:01
39阅读
因为之前公司业务都是使用mqtt接收数据，随着设备的增加，公司觉得用kafka集群来实现会更好 下面是我写一个demo 仅供参考一、安装jdk 没有安装的可以百度去看看怎么安装的 不行的话在私聊我！！！！二、搭建zookeeper集群因为我只有一台Linux服务器，所以在一台机器上创建三个zk实例，通过设置不同的端口号，搭建一个zookeeper伪集群。1、下载zookeeper安装包地址：htt
转载
2024-06-11 10:55:48
156阅读
[root@localhost stage]# ansible-playbook stage-jdk-zookeeper-kafka.yml 1.先查找/etc/ansible/hosts文件寻找[jdk-zookeeper-kafka]组所包含的主机列表及其他定义信息2.roles：此play包含了4个role剧本任务，按从上往下顺序执行以其中的role: user先分解r
转载
2024-10-28 17:35:34
18阅读
zk kafka mariadb scala flink integrationI do not want to write this paper in the beginning , put the codes onto github.com/git.jd.com, while there some errors since moved to jdd(jd finance) this month
IMPLEMENTATION1. API DesignProducer APIsProducer API封装了底层两个Producer：kafka.producer.SyncProducerkafka.producer.async.AsyncProducerclass Producer {
/* Sends the data, partitioned by key to the topi
操作环境： centos7 ，docker环境https://blog.csdn.net/qq_40977118/article/details/123848055#消
原创
2022-07-06 19:08:08
282阅读
kafka简介kafka官网：http://kafka.apache.org/ kafka下载页面：http://kafka.apache.org/downloads kafka配置快速入门：http://kafka.apache.org/quickstart 新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。為了實現
转载
2024-05-11 23:48:00
383阅读
