1. 消息队列的使用1.1 同步通信方式和异步通信方式的对比 同步的通信方式会存在性能和稳定性的问题。 针对于同步的通信方式来说，异步的方式，可以让上游快速成功，极大提高了系统的吞吐量。而且在分布式系统中，通过下游多个服务的分布式事务的保障，也能保障业务执行之后的最终一致性。消息队列解决具体的是什么问题——通信问题。2. 消息队列的流派目前消息队列的中间件选型有很多种： rabbitMQ：内部的可
转载
2024-09-22 13:34:01
60阅读
面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试官心理分析这个是肯定的，用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用 MQ 来传递非常核心的消息，比如说计费、扣费的一些消息，那必须确保这个 MQ 传递过程中绝对不会把计费消息给弄丢。面试题剖析数据的丢
转载
2024-10-09 22:21:13
17阅读
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一
转载
2024-05-20 22:24:43
111阅读
MQ消息队列面试题什么是消息队列消息队列，就是指保存消息的一个容器。类似于数据库、缓存等，用来保存数据的。 消息队列，就是一个使用队列来通信的组件为什么需要消息队列，消息队列的应用场景提供系统性能首先考虑的是数据库的优化，但是数据库因为历史原因，横向扩展是一个非常复杂的工程，所以我们一般会尽量把流量都挡在数据库之前。 消息队列就可以将流量挡在前面，有如下的应用场景异步处理：异步发送邮件、短信等应用
转载
2024-10-12 07:06:22
137阅读
今天我要和你分享的主题是：如何配置 Kafka 无消息丢失。一直以来，很多人对于 Kafka 丢失消息这件事情都有着自己的理解，因而也就有着自己的解决之道。在讨论具体的应对方法之前，我觉得我们首先要明确，在 Kafka 的世界里什么才算是消息丢失，或者说 Kafka 在什么情况下能保证消息不丢失。这点非常关键，因为很多时候我们容易混淆责任的边界，如果搞不清楚事情由谁负责，自然也就不知道由谁来出
消息队列RocketMQ版提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景。本文介绍消息队列RocketMQ版事务消息的概念、优势、典型场景、交互流程以及使用过程中的注意事项。概念介绍事务消息：消息队列RocketMQ版提供类似X或Open XA的分布式事务功能，通过消息队列RocketMQ版事务消息能达到分布式事务的最终一致。半事务消息：暂不能投递的消息，发送方已经成功地将消息发送到
转载
2024-06-26 20:08:34
16阅读
消息队列1. 概述2. 案例分析案例构建实现代码具体分析运行结果 1. 概述 消息队列（Message Queue）是一种用于在分布式系统中进行异步通信的通信模型。它允许应用程序通过发送和接收消息来实现解耦和异步通信，从而实现系统间的解耦和高可伸缩性。 消息队列通常由两个主要组件组成：生产者（Producer）和消费者（Consumer）。生产者负责将消息发送到消息队列，而消费者则负责从消息
转载
2024-04-17 08:10:37
110阅读
kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域。消息队列传统的消息队列&新式的消息队列的模式上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户而新式的队列是，比如一个用户注册信息，数据直接丢进数据库，就直接返回
转载
2024-04-17 11:39:01
44阅读
1.kafka官网:kafka官网1.kafka概述1)Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。（传统使用）Kafka是一个开源的分布式事件流平台（event streaming platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。（最新定位）2)消息队列消息队列1.什么是消息队列?
消息队列
转载
2024-02-29 14:44:49
62阅读
常用的消息队列有Kafka、RabbitMQ、ActiveMQ、metaq等kafka有什么？producer 消息的生成者，即发布消息consumer 消息的消费者，即订阅消息broker Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper 协调转发1、下载kafkacd /usr/nacp/
wget http://mirror.bit.edu.cn/a
转载
2024-06-19 17:03:44
90阅读
第一、Kafka 简介分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列应用场景消息队列优点解耦可恢复性缓冲灵活性 & 峰值处理能力异步通信消息队列模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息
转载
2024-05-13 22:02:53
445阅读
1.什么是消息队列（Message Queue）消息队列是消息在传输过程中保存消息的容器（源自百度百科），消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性及日志记录。目前使用较多的消息队列有：ActiveMQ，RabbitMQ，Kafka，RocketMQ等等。应用的场景有异步处理，应用解耦，流量削锋和消息通讯。2.kafka介绍kafka是分布式发布-订阅消
转载
2024-02-28 08:14:45
112阅读
前言最新项目中要用到消息队列来做消息的传输，之所以选着 Kafka 是因为要配合其他 java 项目中，所以就对 Kafka 了解了一下，也算是做个笔记吧。本篇不谈论 Kafka 和其他的一些消息队列的区别，包括性能及其使用方式。简介Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。一些名词如果要使
转载
2024-07-04 16:23:58
45阅读
1 为什么用消息队列1）解耦。服务之间没有强依赖，不需要关心调用服务时出现的各种异常，服务挂掉后接口超时等问题2）异步。解决接口调用多服务时延时高的问题3）高峰期服务间缓冲。解决工作节奏不一致问题，防止服务被打死 2 消息丢失了怎么办消息丢失有3种情况：1）consumer消费时如果在拉取到消息后没有处理完成或者发生异常，而且offset却自动提交了，会导致消息丢失；将kafka的off
转载
2024-04-18 14:58:18
484阅读
一、Kafka数据收集机制Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Partition，默认采用Hash的机制发送数据到对应Topic的不同Partition中，配置参数为{p
转载
2023-12-12 15:42:52
107阅读
Apache kafka 工作原理介绍消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信
转载
2024-04-07 13:32:21
76阅读
之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景 1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。
原创
2022-01-20 15:55:38
533阅读
一、消息队列基础概念在分布式系统中，消息队列是解耦、异步处理和流量削峰的关键组件。当系统不需要立即获得处理结果，却需要控制并发量时，消息队列就成为了必选方案。1. 消息队列的特性存储缓冲：区别于传统TCP/UDP的请求响应模式，消息队列将消息存储在缓冲区，直到被目标进程读取。异步处理：发送方无需等待接收方响应，允许消息累积后批量处理，提升系统容错性。路由机制：支持广播或单播通信模式，多个进程可读写
技能目标：了解 kafka工作原理
了解 zookeeper 工作原理
学会搭建 kafka 消息队列群集前言
消息队列(MessageQueue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的
时候,差不多就是需要使用消息队列的时候。1.什么是消息队列
消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文
本
一、消息队列概述场景:在程序系统中，例如外卖系统，订单系统，库存系统，优先级较高发红包，发邮件，发短信，app消息推送等任务优先级很低，很适合交给消息队列去处理，以便于程序系统更快的处理其他请求。消息队列工作流程，消息队列一般有三个角色：1.队列服务端2.队列生产者3.队列消费者消息队列工作流程就如同一个流水线，有产品加工，一个输送带，一个打包产品输送带就是 不停运转的消息队列服务端加工产品的就是
转载
2024-07-17 19:49:01
33阅读
