之前的系统中使用了Kafka，不过对于Kafka的运行机制一直不太了解，同时也不知道为啥别人都说它比其他三个著名的消息队列更好用。今天就把积累出来的认知总结一下，便于今后自己学习和记忆，主要是个人的理解，详细的机制和原理，仍需要去查一些详细的技术文章，或者直接上手去操作Kafka。目录消息队列KafkaKafka更好用消息队列消息队列类似于快递柜的比喻，个人认为十分的形象，包括对于生产者（快递员）
分布式消息队列RabbitMQ一、基本概念1.1 消息队列1.2 RabbitMQ1.3 JMS二、基本使用2.1 RabbitMQ安装启动2.2 生产者实现2.3 消费者实现三、组成部分四、工作模式4.1 简单模式4.2 工作队列模式4.3 Pub/Sub 发布订阅模式4.4 Routing 路由模式4.5 Topics 通配符模式4.6 工作模式总结五、高级特性5.1 消息的可靠性投递5.2
转载
2024-09-27 11:59:47
64阅读
一、为什么使用消息队列（MQ）核心：解耦、异步、削峰。（1）、异步 （2）、解耦 （2）、削峰 二、如何选择合适的消息队列2.1 rabbitmq特点：轻量级、迅捷，开箱即用的消息队列。缺点：（1）、对消息的堆积的支持并不友好，当大量消息积压的时候，会导致rabbitmq的性能急剧下降。 （2）、性能是目前常用消息队列中最差的，大概美标中可以处理几万到
转载
2023-07-06 15:22:01
221阅读
一、kafka是什么Kafka是LinkedIn公司开发的一款分布式消息发布和订阅系统，它的特点是高性能、高吞量。kafka一开始设计的目标就是作为一个分布式、高吞吐量的消息系统，所以也适合运用在大数据传输场景。 由于kafka具有更好的吞吐量、内置分区、冗余及容错性的优点(kafka每秒可以处理几十万消息)，让kafka成为了一个很好的大规模消息处理应用的解决方案，一般用在用户行为跟踪、日志收集
转载
2024-03-19 22:34:32
96阅读
当我们聊kafka消息队列的时候，我们应该想到那些事儿？kafka的整个技术体系包含了哪些方面？（本文只提供1、2、6涉及问问题，3、4、5在生产者、消费者的相关的文章中继续探索）消息队列的本质，用来解决什么问题而出现？kafka和众多消息队列之前有什么区别？kafka消息队列如何的使用？（项目案例太多，重点考虑一些需要关注的核心配置、操作接口）kafka消息队列的整体结构？（producer\c
kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域。消息队列传统的消息队列&新式的消息队列的模式上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户而新式的队列是，比如一个用户注册信息，数据直接丢进数据库，就直接返回
转载
2024-04-17 11:39:01
44阅读
目录一.什么是Kafka1.定义2.什么是MQMQ的好处二.消息队列两种模式点对点模式发布/订阅模式三.消息队列基础架构概念解释概念总结： 一.什么是Kafka1.定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于 大数据实时处理领域。特征:Kafka作为一个集群，运行在一台或者多台服务器上.Kafka 通过 topic 对存储的流数据进行分类。
转载
2024-02-23 10:19:23
51阅读
第一、Kafka 简介分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列应用场景消息队列优点解耦可恢复性缓冲灵活性 & 峰值处理能力异步通信消息队列模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息
转载
2024-05-13 22:02:53
445阅读
1.kafka官网:kafka官网1.kafka概述1)Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。（传统使用）Kafka是一个开源的分布式事件流平台（event streaming platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。（最新定位）2)消息队列消息队列1.什么是消息队列?
消息队列
转载
2024-02-29 14:44:49
62阅读
1.什么是消息队列（Message Queue）消息队列是消息在传输过程中保存消息的容器（源自百度百科），消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性及日志记录。目前使用较多的消息队列有：ActiveMQ，RabbitMQ，Kafka，RocketMQ等等。应用的场景有异步处理，应用解耦，流量削锋和消息通讯。2.kafka介绍kafka是分布式发布-订阅消
转载
2024-02-28 08:14:45
112阅读
常用的消息队列有Kafka、RabbitMQ、ActiveMQ、metaq等kafka有什么？producer 消息的生成者，即发布消息consumer 消息的消费者，即订阅消息broker Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper 协调转发1、下载kafkacd /usr/nacp/
wget http://mirror.bit.edu.cn/a
转载
2024-06-19 17:03:44
90阅读
消息队列的应用： -:首先知道什么是消息队列：消息队列是分布式系统中常用的（可以说是必用的中间件），主要的作用体现在应用系统的解耦，异步消息，流量削峰。实现高性能，高可用，可伸缩，最终一致性架构。是大型（当然不限于大型）分布式架构必不可少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。
前言最新项目中要用到消息队列来做消息的传输，之所以选着 Kafka 是因为要配合其他 java 项目中，所以就对 Kafka 了解了一下，也算是做个笔记吧。本篇不谈论 Kafka 和其他的一些消息队列的区别，包括性能及其使用方式。简介Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。一些名词如果要使
转载
2024-07-04 16:23:58
45阅读
Apache kafka 工作原理介绍消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信
转载
2024-04-07 13:32:21
76阅读
一、Kafka数据收集机制Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Partition，默认采用Hash的机制发送数据到对应Topic的不同Partition中，配置参数为{p
转载
2023-12-12 15:42:52
107阅读
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.意思是生产者发送的消息过大，大于broker的配置查看相关资料后，发现 Broker 端对 Produ
转载
2024-03-07 12:58:08
567阅读
我在环境中发现代码里面的kafka有所延迟，查看kafka消息发现堆积严重，经过检查发现是kafka消息分区不均匀造成的，消费速度过慢。这里由自己在虚拟机上演示相关问题，给大家提供相应问题的参考思路。 这篇文章有点遗憾并没重现分区不均衡的样例和Warning: Consumer group ‘testGroup1’ is rebalancing. 这里仅将正确的方式展示，等后续重现了在进行补充。主
转载
2024-01-02 11:15:06
116阅读
之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景 1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。
原创
2022-01-20 15:55:38
533阅读
一、消息队列基础概念在分布式系统中，消息队列是解耦、异步处理和流量削峰的关键组件。当系统不需要立即获得处理结果，却需要控制并发量时，消息队列就成为了必选方案。1. 消息队列的特性存储缓冲：区别于传统TCP/UDP的请求响应模式，消息队列将消息存储在缓冲区，直到被目标进程读取。异步处理：发送方无需等待接收方响应，允许消息累积后批量处理，提升系统容错性。路由机制：支持广播或单播通信模式，多个进程可读写
技能目标：了解 kafka工作原理
了解 zookeeper 工作原理
学会搭建 kafka 消息队列群集前言
消息队列(MessageQueue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的
时候,差不多就是需要使用消息队列的时候。1.什么是消息队列
消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文
本
