1. 为什么要对消费端限流假设一个场景，首先，我们 RabbitMQ 服务器积压了有上万条未处理的消息，我们随便打开一个消费者客户端，会出现这样情况: 巨量的消息瞬间全部推送过来，但是我们单个客户端无法同时处理这么多数据!当数据量特别大的时候，我们对生产端限流肯定是不科学的，因为有时候并发量就是特别大，有时候并发量又特别少，我们无法约束生产端，这是用户的行为。所以我们应该对消费端限流，用于保持消费
转载
2021-06-06 15:54:37
152阅读
作者：海向
1. 为什么要对消费端限流假设一个场景，首先，我们 Rabbitmq 服务器积压了有上万条未处理的消息，我们随便打开一个消费者客户端，会出现这样情况: 巨量的消息瞬间全部推送过来，但是我们单个客户端无法同时处理这么多数据!当数据量特别大的时候，我们对生产端限流肯定是不科学的，因为有时候并发量就是特别大，有时候并发量又特别少，我们无法约束生产端，这是用户的行为。所以我们应该对消费端限流，
转载
2022-01-25 15:58:13
63阅读
本人在负责服务压测的实践中，遇到了一个需求，就是对消息队列的dubbo接口性能进行压测，主要分两类：一类是往
原创
2021-12-13 11:30:28
186阅读
1.异步消息的定义 异步消息的主要目的是为了系统与系统之间的通信，所谓异步消息即消息发送者无需等待消息接收者的处理以及返回，甚至无需关心消息是否发送成功 在异步消息中有两个很重要的概念，即消息代理和目的地，当消息发送者发送消息之后，消息将由消息代理接管，消息代理保证消息传递到指定目的地。 异步消息主
转载
2020-04-19 15:46:00
106阅读
2评论
本人在负责服务压测的实践中，遇到了一个需求，就是对消息队列的dubbo接口性能进行压测，主要分两类：一类是往队列里面添加，一类是从队列中取值（等同删除）。是一个server的两个不同方法。同组其他人用的jmeter进行的dubbo接口压测。 队列的添加规则比较简单，主要有一个标…
原创
2022-01-15 17:20:46
115阅读
1.1 过期时间TTL过期时间TTL表示可以对消息设置的有效期时间，在这个有效时间内都可以被消费者接收；超过时间后消息将会被自动踢除。RabbitMQ可以对消息队列设置TTL，本文将介绍2种方法来设置过期时间。1、通过队列属性设置，队列中所有消息都有相同的过期时间。2、通过对消息进行单独设置，每条消息TTL可以不同。TPS：如果上面2种方法同时使用，那么消息过期时间以最先到期的时间为准。消息在队列
转载
2021-06-05 22:57:22
7566阅读
之前写过将Prometheus的监控告警信息通过Alertmanager推送到钉钉群。最近转移了阵地，需要将Prometheus监控告警信息推送到企业微信群，经过两天的摸索，以及查了网上的一些资料，总结了此文，避免后面的同学走弯路。Alertmanager将告警信息推送到微信群，主要涉及到如下几方面的配置：企业微信后台的配置，包括新建告警部门和应用；Alertmanager的主配置文件配置和告警模
转载
2024-05-02 00:02:21
199阅读
1评论
如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。比如一个Broker集...
原创
2022-09-15 11:15:19
67阅读
调度器，决定了任务的运行顺序。 uC/OS-III是一个可抢占的， 基于优先级的内核。根据其重要性每个任务都被分配了一个优先级。uC/OS-III支持多个任务拥有相同的优先级。1.抢占式调度 uC/OS-III通过两种方法处理中断提交的事件:直接提交或延迟提交。从调度的角度看， 这两种方法产生的结果是一样的； 最高优先级的就绪任务会占用CPU直接提交：（ 1）一个低优先级任务正在执行，这时中断发生
在使用 HTTP POST 或者 PUT 方法向服务器发送非multipart类型的数据时，有两种最常用的对消息主体进行编码的方法，它们分别对应不同的Content-Type：Content-Type类型说明示例application/x-www-form-urlencoded以 URLEncoded 的方式进行编码name=test&sub%5B%5D=1&sub%5B%5D=2
转载
2017-01-15 22:11:37
2372阅读
1 样例说明： 1.1 请求类型：post 1.2 请求体编码类型：json 2 线程组下，添加配置元件-HTTP信息头管理器： 2.1 可以将手动获取的cookie； 2.2 Content-Type是指http/https发送信息至服务器时的内容编码类型； 3 设置函数：工具-函数助手选择需要的 ...
转载
2021-08-30 17:00:00
7229阅读
2评论
本人在负责服务压测的实践中，遇到了一个需求，就是对消息队列的dubbo接口性能进行压测，主要分两类：一类是往
原创
2021-12-13 11:24:46
154阅读
# Redis缓存对消费消息服务做幂等校验
在现代分布式系统中，消息消费服务是数据传递和处理的重要组成部分。然而，在高并发和网络异常等情况下，可能会出现重复消费的情况，这会导致数据不一致或错误。为了解决这个问题，我们可以使用Redis作为缓存来实现幂等校验。本文将通过实例来探讨如何使用Redis缓存避免重复消费，并保证消息消费的幂等性。
## 什么是幂等性？
幂等性是指一个操作可以多次重复执
目录 （0）写在前面 （1）如何保证宕机时数据不丢失？ （2）多副本冗余的高可用机制 （3）多副本之间数据如何同步？ （4）ISR到底指的什么东西？ （5）acks参数的含义？ （6）最后的思考 （0）写在前面 面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持
转载
2019-06-27 11:03:00
110阅读
2评论
✅ 一、什么是“消息行为的抽象”？? 消息行为（Message Behavior）指的是：在消息驱动系统中，你关心的不是“怎么发”，而是：行为维度你真正关心的是什么？生产“我需要在某个时机，把一个对象变成消息发出去”消费“当有消息到达时，我需要处理它”路由“这条消息该发到哪个主题/队列？”序列化“消息内容是 JSON 还是 Avro？怎么转？”重试“如果处理失败，重试几次？间隔多久？”分组“多个实
一、标识符定义：对各种变量、对象、数组、集合、方法、类和包等要素命名时使用的字符序列。（1）组成规则：①英文大小写字母 ②数字 ③$和_（2）注意事项：①不能以数字开头 ②不能使用java中的关键字 ③区分大小写（3）常用的命名规则 ①包 &nb
首先kafka只保证partition内的消息是顺序的，并不保证topic维度是顺序的。其次，我们联系存储架构来思考，就很容易理解。我们的分区文件是追加写入的，那么对于一个分区而言，它保证消息顺序的特性是天然自带的。但是 Topic 是一个逻辑概念，是由多个分区文件组成的，因此想要做到 Topic 维度的数据顺序，代价是非常大的，所以 kafka 并不保证 Topic 维度的消息顺序。在这个前提下
转载
2024-01-21 01:56:07
43阅读
消息队列MQMQ全称为Message Queue，消息队列是应用程序和应用程序之间的通信方法。为什么使用MQ 在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。开发中消息队列通常有如下应用场景任务异步处理 将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理。提高了应用程序的响应时间。应
转载
2024-03-25 21:34:06
98阅读
