目录异步通信原理：观察者模式：生产者消费者模式：生产者消费者模式数据传递的流程：缓冲区：数据单元：消息系统原理：消息以及消息队列：点对点消息传递：发布订阅消息传递：Kafka原理：设计目标：Kafka优点：Kafka系统架构：Broker：Topic：创建流程：删除流程：Partition：Leader：Follower：Replication：Producer：Consumer：Consumer
转载
2024-09-02 11:56:24
75阅读
1、为什么有消息系统1、解耦合2、异步处理例如电商平台，秒杀活动。一般流程会分为：风险控制库存锁定生成订单短信通知更新数据通过消息系统将秒杀活动业务拆分开，将不急需处理的业务放在后面慢慢处理；流程改为：风险控制库存锁定消息系统生成订单短信通知更新数据3、流量的控制3.1 网关在接受到请求后，就把请求放入到消息队列里面3.2 后端的服务从消息队列里面获取到请求，完成后续的秒杀处理流程。然后再给用户返
1 拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(int
转载
2024-03-19 13:44:42
64阅读
Kafka producer拦截器(interceptor)1 拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个inte
转载
2024-07-02 22:23:46
31阅读
消费过滤一、为什么要涉及过滤功能？RocketMQ 设计了消息过滤，来解决大量无意义流量的传输：即对于客户端不需要的消息，Broker 就不会传输给客户端，以免浪费宽带。二、RocketMQ 支持消息过滤 RocketMQ 4.8.0 支持 Tag 过滤、SQL92过滤、Filter Server过滤。 RocketMQ Tag 过滤流程： 第一步：用户发送一个带 Tag 的消息。 第二步
转载
2024-07-01 20:03:46
594阅读
一、简介 kafka生产者拦截器主要用于在消息发送前对消息内容进行定制化修改，以便满足相应的业务需求，也可用于在消息发送后获取消息的发送状态，所在分区和偏移量等信息。同事，用户可以在生产者中指定多个拦截器形成一个拦截器链，生产者会根据指定顺序先后调用。Kafka生产者拦截器的访问流程如下：这里的拦截器为两个拦截器组成的一个拦截器链。第一个拦截器为时间拦截器，作用是在消息发送之前修改消息的
转载
2024-03-31 11:34:44
111阅读
发送消息的幂等性Broker有判断producer生产消息幂等性的功能： 具体设置：enable.idempotence=true/false原理PID(Producer ID)sequence number 生产者都要有一个唯一的编号，就是PID。每一条消息都要有一个sequence number,如果消息的sequence number小于服务端存储的最大编号，则判定该消息为重复消息。 k
转载
2024-06-19 17:05:34
52阅读
1. Exclusive Consumer 独有消费者：Queue中的消息是按照顺序被分发到consumer的，然而，当你有多个consumers同时从相同的queue中提取消息时，你将失去这个保证。因为这些消息是被多个线程并发的处理。有的时候，保证消息按照顺序处理是很重要的。例如：你可能不希望在插入订单操作结束之前执行更新这个订单的操作。 ActiveMQ从4.x版本开始支持Exclusiv
转载
2024-04-09 15:17:14
133阅读
目录位移管理reblancerablance的触发条件reblance策略rebalance generationrebalance 协议rebalance流程rebalance监听器 位移管理reblanceconsumer定期向kafka提交自己的位移信息，这个位移通常是下一条待消费的消息的位置 说到位移就不得不提一下HW(High Watermark)，水位的概念，HW是指消费者能读到的最
转载
2024-06-20 20:54:26
60阅读
目录1. consumer配置订阅消息2. consumer心跳将订阅信息发送到broker3. broker处理consumer的心跳4. 订阅配置发生变更，反向通知consumer5. consumer处理broker发来的订阅变更消息6. consumer发送pullRequest7. broker处理pullRequest8. consumer处理PullResult1. consumer
转载
2024-03-28 10:39:13
834阅读
五 Kafka producer 拦截器(interceptor)5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会修改消息等。同时，producer 允许用户
转载
2024-05-08 12:56:59
71阅读
Filter是Dubbo中使用较为频繁的组件，其作用在于对所指定的请求进行过滤，功能非常类似于AOP，可以实现诸如请求过滤器和全局异常捕获器等组件。本文首先会讲解Filter的用法，然后会从源码的角度讲解其实现原理。1. 用法示例对于Filter的划分，根据其面向的对象不同，可以分为service端和consumer端；根据其所作用的范围的不同，则可以分为单个服务过滤器（单个service或ref
转载
2024-03-29 07:06:07
63阅读
在实际项目中，我们可能需要实现消息消费的过滤。
举个例子：实现消息的分流处理：
生产者生产的消息，虽然消息体可能一样，但是header不一样。可编写两个或者更多的消费者，对不同header的消息做针对性的处理……
原创
2021-08-10 15:43:29
724阅读
在消息中间件的使用过程中，一个主题对应的消费者想要通过规则只消费这个主题下具备某些特征的消息，过滤掉自己不关心的消息，这个功能就叫消息过滤。
原创
2022-11-17 10:53:44
552阅读
1. 优雅的退出消费者程序wakeup()方法是consumer中唯一个可以在多线程中使用的方法。poll方法不会立即响应wakeup方法，并在下次poll调用时会抛出WakeupExceptionpackage com.bonc.rdpe.kafka110.consumer;
import java.util.Arrays;
import java.util.Properties;
impo
转载
2024-03-16 19:19:10
89阅读
079：Redis基于布隆过滤器解决缓存穿透问题1 缓存穿透常用解决方案有哪些2 布隆过滤器简单的介绍3 布隆过滤器实现原理的分析4 java语言使用布隆过滤器使用5 布隆过滤器如何减少误判的概率6 使用布隆过滤器解决Redis穿透问题 1 缓存穿透常用解决方案有哪些课程内容:什么是缓存雪崩、击穿、穿透Redis缓存雪崩、击穿、穿透布隆过滤器算法的实现原理基于布隆过滤器解决缓存击穿缓存穿透：指使
转载
2024-10-14 09:27:56
52阅读
RocketMQ tag/sql过滤消费实现原理以及消息丢失问题
原创
2022-08-04 11:18:08
652阅读
双十一之前有些人预测今年淘宝全网的交易额很难达到100亿，结果支付宝的总交易额为191亿。现在又有很多人担心，双十一淘宝全网的191亿交易额会拖累未来几个月零售市场业绩，拖着中国的电子商务公司集体远离健康毛利。这类担心往好听了说是眼光长远，往难听了说是杞人忧天。
原创
2012-11-12 13:41:56
417阅读
Kafka是一款基于发布与订阅的消息系统。其中消息的订阅以及最终的消费是由Kafka中的消费者来完成。关于Kafka中的消费者，其包含的内容比较多，现在归纳如下：01、消费者和消费者群组Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接受主题一部分分区的消息。往群组里增加消费者是横向伸缩消费能力的主要方式。但是要注意，不要让消费者的数量超过主题分区的数量，多余的消
转载
2024-01-26 07:46:35
45阅读
在压力测试过程中，请求的峰值一直持续的时候就容易出现了大量的XX字段插入失败，唯一键冲突。 检查日志能发现出现大量的提交到kafka失败Commit cannot be completed due to group rebalance很多次提交到kafka都是rebalance，为什么发生了rebalance我们的应用是开三个线程消费kafka消息，拿到消息后就会进行提交，理论上是不应
转载
2024-02-27 17:16:35
267阅读
