Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。（1）优点：kafka的优点非常多高性能：单机测试能达到 100w tps；低延时：生产和消费的延时都很低，e2e的延时在正常的cluster中也很低；可用性高：replicate + isr + 选举 机制保证；工具
转载
2024-03-27 10:40:26
33阅读
略过下载及安装，值得注意的是，启动kafka之前需要先启动zookeeper，kafka依赖于zookeeper。kafka跟我们所认知的传统消息队列有所不同，它衍生的一些概念比如消费者组，topic，partition等，如果没有kafka的使用经验似乎有点难以理解。配置server.propertiesbroker.id=0：集群唯一idlog.dirs=/usr/local/data/kaf
转载
2024-03-04 05:41:54
38阅读
2021大厂Java面试真题（Kafka ）1、Kafka 是什么？主要应用场景有哪些？Kafka 是一个分布式流式处理平台。流平台具有三个关键功能： 消息队列：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消息队列的原因。 容错的持久方式存储记录消息流： Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。 流式处理平台： 在消息发布的时候进行处理，Kaf
转载
2023-07-22 11:21:52
293阅读
Apache Kafka 企业级消息队列2.Apache Kafka是什么是什么？有什么用？怎么用？2.1简介1） Apache Kafka 是一个消息队列（生产者消费者模式）2） Apache Kafka 目标：构建企业中统一的、高通量的、低延时的消息平台。3） 大多的是消息队列（消息中间件）都是基于JMS标准实现的，Apache Kafka 类似于JMS的实现。ActiveMQ2.2作用(重点
转载
2024-08-07 08:35:56
57阅读
一：介绍 1.官网 kafka.apache.org 2.产生 Kafka由 linked-in 开源 kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。 kafka-高产出的分布式消息系统(A high-throughput distributed messagin
转载
2017-01-30 11:53:00
68阅读
2评论
? 此文档中的命令是基于**mac或者linux**，windows下需要把bin/xxx.sh替换成bin/windows/xxxx.bat 一、下载 http:
原创
2024-03-13 14:02:19
86阅读
精确一次确实很难实现（Exactly-once is a really hard problem）Mathias Verraes说，分布式系统中最难解决的两个问题是：消息顺序保证（Guaranteed order of messages）。消息的精确一次投递（Exactly-once delivery）。消息系统语义概述（Overview of messaging system semantics
转载
2024-07-09 22:34:07
26阅读
producerpackage mainimport ( "fmt" "github.com/Shopify/sarama" "log" "strconv")const ( BROKER = "ip:port" TOPIC = "x
原创
2023-06-20 10:48:27
112阅读
消息系统的分类：Peer-to-Peer一般基于pull或者polling接受消息发送到队列的消息被一个而且仅仅一个接收者所接收，即使有多个接收者在在同一个队列中侦听同一个消息既支持异步的消息传送方式，也支持请求/应答传送方式发布/订阅发布到一个主题的消息，可以被多个接收者订阅发布/订阅即可基于push消费数据，也可基于pull或者polling消费数据解耦能力比p2p模型更强消息
原创
2022-11-09 16:15:57
319阅读
1. kafka——拥有更广阔的大海Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的 一个多分区、多副本且基于 ZooKeeper协调的分布式消息系统。不过kafka不只是一个简单的mq，在大数据领域也是重要的玩家，现在已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Clouder
转载
2024-09-17 12:37:06
156阅读
简介:由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这里测试的环境是基于之前写的springcloud项目,博客地址:基本流程呢就是: Producer(生产者),向Kafka发送消息,发送消息的时候呢,会 根据你设置的Topic进行分类 Consumer(消费者),通过配置
转载
2023-08-31 06:49:57
93阅读
目录1 初识KafKa1.1基本概念2 生产者2.1客户端开发2.1.1 必要参数2.1.2 消息的发送2.1.3 序列化2.1.4 分区器2.1.5 生产者拦截器2.2 整体架构2.2.1 RecordAccumulator2.2.2 Sender线程3 消费者3.1 消费者和消费者组3.1.1 消息投递模式3.2 客户端开发3.2.1 必要参数3.2.2 订阅主题与分区3.2.3 反序列化3.
转载
2024-03-04 06:21:53
49阅读
一、简介Kafka 是一个高吞吐量、分布式的发布—订阅消息系统。据Kafka 官方网站介绍，当前的Kafka 已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由LinkedIn公司开发，后来成为Apache 项目的一部分。Kafka 核心模块使用Scala 语言开发，支持多语言（如Java、C/C++、Python、Go、Erlang、N
转载
2024-02-04 13:42:53
655阅读
kafka-topics.sh的使用方式一、kafka的基本操作1.1、创建topic1.2、查看topic1.3、查看topic属性1.4、发送消息1.5、消费消息二、kafka-topics.sh 使用方式2.1、查看帮助2.2、副本数量规则2.3、创建主题2.4、查看broker上所有的主题2.5、查看指定主题 topic 的详细信息2.6、修改主题信息之增加主题分区数量2.7、删除主题三
转载
2024-03-21 10:04:49
39阅读
前言看完本文你将学会以下知识：kafka 数据的生产大致流程如何创建并使用 kafka生产者kafka生产者的常用配置了解 kafka生产者 的分区kafka数据生产流程大概流程如下图：kafka.png kafka生产者会将消息封装成一个 ProducerRecord 向 kafka集群中的某个 topic 发送消息发送的消息首先会经过序列化器进行序列化，以便在网络中传输发送的消息需要经过分区
转载
2024-04-16 15:54:08
24阅读
文章目录Kafka概述及使用1 Kafka使用场景及基本术语2 Linux搭建Kafka环境2.1 下载安装并启动zk（使用自带也行）2.2 安装并启动kafka3 Kafka相关功能3.1 server.properties核心配置详解3.2 kafka创建主题，发送、消费消息3.3 单播消息、多播消息、消费者组3.4 查看消费者组及信息3.4 主题、分区概念4 搭建kafka集群4.1 副本
转载
2024-04-22 09:39:19
32阅读
1.环境准备1）启动zk和Kafka集群，在Kafka集群中打开一个消费者 [bigdata@hadoop003 kafka]$ bin/kafka-console-consumer.sh –zookeeper hadoop003:2181 --topic second 2）导入pom依赖<dependencies>
<!-- https://mvnrepository
转载
2024-03-18 14:01:52
86阅读
最近手上的项目需要拉去kafka的消息进行消费，不过以前没使用过kafka，这两天安装及摸索使用了kafka，对于在一个服务里开启多个kafka的消费者来提高消费速度的问题上，目前自己已摸索清楚并测试通过，故记录下。一. 项目场景 在分布式的情景下，有多个应用服务将消息推送到kafka的topic里，需要开发一个应用服务去拉去kafka的消息并进行消费，由于消息的生产速度很快，如果只开一个消
转载
2024-03-21 12:14:12
239阅读
kafka内部为什么要设计时间轮？kafka内部有很多很多的延时任务，并没有急于JDK Timer来实现，那个插入和删除任务的时间复杂度是O（nlogn）而是与自己写的时间轮来实现的，时间复杂度是O(1)，依靠时间轮机制，延时任务插入和删除O(1)时间轮是什么？其实时间轮说白了就是一个数组tickMS： 时间轮间隔 1mswheelSize： 时间大小 20个interval： tickMS *
转载
2024-04-18 13:40:50
45阅读
