文章目录Kafka概述及使用1 Kafka使用场景及基本术语2 Linux搭建Kafka环境2.1 下载安装并启动zk（使用自带也行）2.2 安装并启动kafka3 Kafka相关功能3.1 server.properties核心配置详解3.2 kafka创建主题，发送、消费消息3.3 单播消息、多播消息、消费者组3.4 查看消费者组及信息3.4 主题、分区概念4 搭建kafka集群4.1 副本
转载
2024-04-22 09:39:19
32阅读
前言写这篇文章的起因是由于之前的一篇关于Kafka异常消费，当时为了解决问题不得不使用临时的方案。总结起来归根结底还是对Kafka不熟悉导致的，加上平时工作的需要，之后就花些时间看了Kafka相关的资料。何时使用MQ谈到Kafka就不得不提到MQ，是属于消息队列的一种。作为一种基础中间件在互联网项目中有着大量的使用。一种技术的产生自然是为了解决某种需求，通常来说是以下场景：
转载
2024-04-05 11:54:58
12阅读
目录1.搭建Kafka集群环境1.1 下载1.2 解压1.3 配置环境变量1.4 修改配置1.5 分发安装包1.6 启动1.7 验证2.群起脚本3.kafka命令行操作1）查看当前服务器中的所有 topic2）创建 topic3）删除 topic4）发送消息5）消费消息6）查看某个 Topic 的详情7）修改分区数1.搭建Kafka集群环境1.1 下载下载对应版本 Kafka，这里我下载的最新稳定
转载
2024-07-22 12:57:16
64阅读
Springboot项目中使用Kafka第一步：安装好Kafka服务器具体可参考： https://
原创
2023-03-08 10:29:29
171阅读
# 使用Docker Compose部署Kafka项目
Kafka是一个分布式流处理平台，常用于构建实时数据管道和数据流应用程序。为了方便快速部署Kafka项目，我们可以使用Docker Compose来管理多个容器，包括Kafka集群、Zookeeper等服务。本文将介绍如何使用Docker Compose来部署Kafka项目，并提供相应的代码示例。
## 准备工作
在开始之前，我们需要安
原创
2024-05-09 04:29:43
476阅读
由于只是简单地了解和使用了kafka，所以对底层的东西并不做深入的分析，网上有很多资料介绍 kafka的安装以及它的配置，包括zookeeper集群的搭建。本文是在环境搭建好的情况下，介绍kafka在Maven项目中该如何使用。 1、kafka的配置文件 如果生产者和消费者都在一个模块里，那就只需要一个配置文件就行啦，如果在不同模块里的话就是两个（当然看你用什么环境，一个环境下一个配置文件
转载
2024-03-28 23:34:27
24阅读
一、Kafka消费者1、消费方式consumer采用pull（拉）模式从broker中读取数据。push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息pull模式不足之处是，
转载
2024-04-26 15:40:17
96阅读
https://docs.confluent.io/current/connect/userguide.html本文档提供了关于如何开始使用Kafka Connect的信息。在开始之前，您应该阅读并理解Kafka Connect的概念（Kafka Connect Concepts）。本文件涵盖以下主题:Deployment Considerations
Running Workers a
转载
2024-05-21 16:19:46
90阅读
# 使用 Java Maven 项目中 Flink 消费 Kafka 消息
随着大数据技术的迅猛发展，Apache Flink 和 Apache Kafka 逐渐成为各大企业流处理和消息队列的首选技术。在这篇文章中，我们将探讨如何在一个 Java Maven 项目中使用 Flink 来消费 Kafka 消息。我们将提供详细的步骤，并包含代码示例，以便更好地理解整个过程。
## 1. 项目准备
原创
2024-10-15 06:44:05
116阅读
SpringKafka的配置2.1 SpringKafka配置2.1.1 Kafka配置类KafkaProperties2.2 SpringKafka生产者KafkaTemplate2.2.1 创建一个生产者KafkaTemplate2.2.2 KafkaTemplate发送消息方法2.2.3 生产者消息回调ProducerListener 2.1 SpringKafka配置SpringBoot
略过下载及安装，值得注意的是，启动kafka之前需要先启动zookeeper，kafka依赖于zookeeper。kafka跟我们所认知的传统消息队列有所不同，它衍生的一些概念比如消费者组，topic，partition等，如果没有kafka的使用经验似乎有点难以理解。配置server.propertiesbroker.id=0：集群唯一idlog.dirs=/usr/local/data/kaf
转载
2024-03-04 05:41:54
38阅读
Kafka是一个消息系统，由LinkedIn贡献给Apache基金会，称为Apache的一个顶级项目。Kafka最初用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。它具有可扩展、吞吐量大和可持久化等特征，以及非常好的分区、复制和容错特征。 Kafka的关键设计决策1). Kafka在设计之时为就将持久化消息作为通常的使用情况进
【README】本文演示了当有新消费者加入组后，其他消费者接收分区情况；本文还模拟了 broker 宕机的情况；本文使用的是最新的 kafka3.0.0 ；本文测试案例，来源于 消费者接收分区的5种模型，建议先看模型【1】kafka测试环境准备1）kafka集群 3个broker，分别为 centos201, centos202, centos203 ，id分别为 1，2,3 ；topi
转载
2024-03-27 12:08:35
42阅读
以下会介绍利用Kafka自带的性能测试脚本及KafkaManager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态。 Kafka性能测试脚本 $KAFKA_HOME/bin/kafka-producer-perf-test.sh 该脚本被设计用于测试Kafka Producer的性能，主要输出4项指标，总共发送消息量（以MB为单位），每秒发送消息量
转载
2024-07-04 16:24:19
27阅读
在过去的几年中，Apache Kafka 的功能和覆盖范围已经有了很大的提高。500强公司中有三分之一在使用 Kafka，包括全球 Top10 银行中的7家、Top10 保险公司中的8家、美国 Top10 电信公司中的9家。首先我们看一下 Kafka 提供的2个核心功能：（1）消息系统消息被广泛用于2中方式：队列队列的消费者是一个worker组，每条消息只被其中的一个worker处理，高效的分摊了
原创
2021-04-21 14:47:09
146阅读
写这个东西主要是想吐槽为主，真的无语了。 kettle是java写的 java 版权是 oracle 的。 mysql 是 Oracle 的。 吐槽： 一般来说，在kettle中新建mysql连接时，都选择Native（JDBC）方法，这种方法虽然快捷，但是不能指定驱动类型。 kettle 默认的mysql驱动org.gjt.mm.mysql.Dri
初始化流程图ChannelBuilders.create创建ChannelBuilder对应关系如下：switch (securityProtocol) {
case SSL:
requireNonNullMode(mode, securityProtocol);
channelBuilder = new SslChannelBuilder(mode);
转载
2024-08-27 11:45:35
145阅读
前言看完本文你将学会以下知识：kafka 数据的生产大致流程如何创建并使用 kafka生产者kafka生产者的常用配置了解 kafka生产者 的分区kafka数据生产流程大概流程如下图：kafka.png kafka生产者会将消息封装成一个 ProducerRecord 向 kafka集群中的某个 topic 发送消息发送的消息首先会经过序列化器进行序列化，以便在网络中传输发送的消息需要经过分区
转载
2024-04-16 15:54:08
24阅读
一、简介Kafka 是一个高吞吐量、分布式的发布—订阅消息系统。据Kafka 官方网站介绍，当前的Kafka 已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由LinkedIn公司开发，后来成为Apache 项目的一部分。Kafka 核心模块使用Scala 语言开发，支持多语言（如Java、C/C++、Python、Go、Erlang、N
转载
2024-02-04 13:42:53
655阅读
kafka-topics.sh的使用方式一、kafka的基本操作1.1、创建topic1.2、查看topic1.3、查看topic属性1.4、发送消息1.5、消费消息二、kafka-topics.sh 使用方式2.1、查看帮助2.2、副本数量规则2.3、创建主题2.4、查看broker上所有的主题2.5、查看指定主题 topic 的详细信息2.6、修改主题信息之增加主题分区数量2.7、删除主题三
转载
2024-03-21 10:04:49
39阅读
