一、消息应答1.概念：消费者完成一个任务可能需要一段时间，如果其中一个消费者处理一个长的任务并仅只完成 了部分突然它挂掉了，会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息，便立即将该消息标记为删除。在这种情况下，突然有个消费者挂掉了，我们将丢失正在处理的消息。以及后续 发送给该消费这的消息，因为它无法接收到。 为了保证消息在发送过程中不丢失，rabbitmq 引入消息应答机制，消息应
转载
2024-10-15 15:43:10
21阅读
一、消息应答1.概念：消费者完成一个任务可能需要一段时间，如果其中一个消费者处理一个长的任务并仅只完成 了部分突然它挂掉了，会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息，便立即将该消息标记为删除。在这种情况下，突然有个消费者挂掉了，我们将丢失正在处理的消息。以及后续 发送给该消费这的消息，因为它无法接收到。 为了保证消息在发送过程中不丢失，rabbitmq 引入消息应答机制，消息应
转载
2024-10-15 15:43:15
6阅读
随着用户对数据访问速度的日益重视,MySQL数据库在最初的设计中,采用了线性预读的方式,提前将即将使用的数据预读到Buffer pool中,来提升数据的访问速度,但在实际使用过程中,线性预读失效的问题愈来愈突出。对于存在时间比较长,变更又比较频繁,除非我们对于这张表进行重建,否则该表会存在大量的数据碎片,导致数据存放不连续,这样会使MySQL原有的线性预读功能失效,导致某些查询语句变很慢,如:全表
转载
2023-10-08 18:44:01
129阅读
RabbitMQ 整体上是一个生产者消费者模型，主要负责接收、存储和转发消息。整体模型架构图如下：生产者和消费者生产者Producer：生产者，就是投递消息的一方。生产者创建消息，然后发布到 RabbitMQ 中。消息一般可以分为两部分：消息体（payload）：带有业务逻辑结构的数据，比如 JSON 字符串。标签（label）：用来表述这条消息，比如一个交换器的名称和一个路由键。生产者把消息交给
转载
2024-10-18 19:15:26
143阅读
RabbitMQ支持哪些协议呢？ RabbitMQ通过直接支持或插件支持的方式，支持了几种消息协议。 AMQP 0-9-1，0-9，0-8，和扩展协议 RabbitMQ最早开发就是为了支持AMQP，所以该协议是Broker支持的最核心的协议。所有的版本基本上是类似的，但最新的版本描述比较不清晰或相比先前版本没有多大改善。RabbitMQ用不同的方式扩展了AMQP 0-9-1。 AMQP 0-9-
转载
2024-03-26 13:32:03
80阅读
##背景 应用中的日志(包括用户操作和服务调用日志)使用rabbitmq缓冲处理，避免应用处理速度慢导致日志堆积内存溢出应用挂掉，最终致使日志丢失。所以肯定是有用到rabbitmq的confirm、ack、持久化的机制。 现在用户量上来后rmq的cpu就飙得很高。那怎么调优rmq让它cpu不那么高？##理想步骤 1）使用jemter和vmstat给应用进行负载测试，重现问题场景并粗略观察一下cp
转载
2024-09-24 22:53:59
0阅读
预读机制两种预读算法 1、线性预读 2、随机预读对预读的监控一、预读机制 InnoDB在I/O的优化上有个比较重要的特性为预读，预读请求是一个i/o请求，它会异步地在缓冲池中预先回迁多个页面，预计很快就会需要这些页面，这些请求在一个范围内引入所有页面。InnoDB以64个page为一个extent，那么InnoDB的预读是以page为单位还是以extent？ 数据库请求数据
转载
2023-07-05 23:15:14
302阅读
缓存池的作用缓存表数据与索引数据，把磁盘上的数据加载到缓冲池，避免每次访问都进行磁盘IO，起到加速访问的作用。为什么不把所有数据放到缓冲池中凡事都具备两面性，抛开数据易失性不说，访问快速的反面是存储容量小：缓存访问快，但容量小，数据库存储了200G数据，缓存容量可能只有64G;内存访问快，但容量小，买一台笔记本磁盘有2T，内存可能只有16G;因此，只能把“最热”的数据放到“最近”的地方，以“最大限
转载
2023-11-24 08:53:47
58阅读
InnoDB的缓存池作用:缓存表数据和索引数据,把磁盘上的数据加载到缓冲池中,避免每次都进行磁盘IO,起到加速访问的效果.LRU算法(Least recently used):把入缓存池的页放在LRU的头部,作为最近访问的元素
页在缓冲池中的数据,把它放在队列的前面(情景一)页不在缓冲池中的数据,把它放在队列的前面,同时淘汰队列后面的数据(情景二)情景一情景二MySQL不用LRU算法原因:预
转载
2023-11-30 09:31:20
58阅读
在确认消息被接收之前，消费者可以预先要求接收一定数量的消息，在处理完一定数量的消息
原创
2022-11-30 14:25:52
231阅读
MySQL是一个广泛使用的开源关系型数据库管理系统。然而，随着数据量的增加和业务需求的多样化，数据库性能瓶颈便成为了一大挑战，其中“MySQL预读”的问题尤为突出。简单来说，预读是指MySQL在查询时提前读取数据页，以提高查询性能。但如果预读的配置不当，或者在特定情况下，它会导致系统性能下降。本文将详细记录我针对“MySQL预读”问题的解决过程。
## 背景定位
在某个电商平台上，我们的商品表
由于存储介质的特性，磁盘本身存取就比主存慢很多，再加上机械运动耗费，磁盘的存取速度往往是主存的几百分分之一，因此为了提高效率，要尽量减少磁盘I/O。为了达到这个目的，磁盘往往不是严格按需读取，而是每次都会预读，即使只需要一个字节，磁盘也会从这个位置开始，顺序向后读取一定长度的数据放入内存。这样做的理论依据是计算机科学中著名的局部性原理：当一个数据被用到时，其附近的数据也通常会马上被使用。程序运行期
转载
精选
2015-10-28 10:30:32
1501阅读
HDFS写流程1.客户端（client）会先和NameNode联系，在NameNode虚拟目录下创建文件（没有创建有的话就不能上传了这个过程是在Path路径进行检查的）。这个过程是可以看见的显示copying这时文件是不能读取的，NameNode会根据副本放置策略分发副本（第一个在本机架另外两个在其他机架）NameNode会把这三个节点的位置返回给客户端。如果客户端在集群外namenode会根据策
转载
2024-10-10 08:14:24
30阅读
Kafka简介原本的kafka只是一个处理消息队列的技术，但随着功能不断增加，不断综合，成为了一个分布式的流媒体平台Kafka是一个分布式的流媒体平台。
应用：消息系统、日志收集、用户行为追踪、流式处理。Kafka特点高吞吐量、消息持久化、高可靠性、高扩展性。 -他把数据存到硬盘里，同时保持高性能（读取性能的高度决定于硬盘的读取方式：顺序读取，高性能）；分布式集群部署，因此可靠，Kafka术
转载
2024-10-29 10:37:23
15阅读
【MySQL进阶】从计算机层面看索引凭什么让查询效率提高这么多？ 文章目录【MySQL进阶】从计算机层面看索引凭什么让查询效率提高这么多？磁盘IO和预读：索引是什么？BTree索引B+Tree索引 让我们先来了解一下计算机的数据加载。 磁盘IO和预读：先说一下磁盘IO，磁盘读取数据靠的是机械运动，每一次读取数据需要寻道、寻点、拷贝到内存三步操作。寻道时间是磁臂移动到指定磁道所需要的时间，一般在5
转载
2023-11-11 20:58:53
88阅读
# 教你如何设置Java RabbitMQ的QoS
## 1. 确定目标
在进行QoS设置之前，首先需要明确目标。QoS（Quality of Service）是指在消息传递的过程中，确保消息的可靠性和稳定性。在RabbitMQ中，QoS设置可以控制消费者处理消息的速度，以避免消费者处理能力不足时导致消息堆积。
## 2. 流程图
```mermaid
flowchart TD
A[确
原创
2024-05-02 07:19:15
90阅读
背景目前，IO 仍然是数据库的性能杀手，为了提高 IO 利用率和吞吐量，不同的数据库都设计了不同的方法，本文就介绍下 InnoDB 提供的预读(read-ahead)功能，以及 Oracle 提供的多块读(multiblock-read)功能，并进行一些对比。InnoDB read-aheadInnoDB 提供了两种预读的方式，一种是 Linear read ahead，由参数innodb_rea
转载
2024-07-03 05:59:26
68阅读
RabbitMq 性能调优记录要避免流控机制触发服务端默认配置是当内存使用达到40%，磁盘空闲空间小于50M，即启动内存报警，磁盘报警；报警后服务端触发流控（flowcontrol）机制。一般地，当发布端发送消息速度快于订阅端消费消息的速度时，队列中堆积了大量的消息，导致报警，就会触发流控机制。触发流控机制后，RabbitMQ服务端接收发布来的消息会变慢，使得进入队列的消息减少；与此同时Rabbi
转载
2024-03-07 12:01:11
359阅读
RabbitMQ支持三种配置方式： 1） 读取环境变量中配置， 这包括shell中环境变量和rabbitmq-env.conf/rabbitmq-env-conf.bat文件中配置的环境变量 可配置如端口、配置文件指定自定义位置、节点名字等信息。 2） 读取配置文件rabbitmq.config 可配置权限、集群、插件设置等高级信息， 当然也可配置端口等简单
转载
2023-10-09 10:44:26
263阅读
目录一、消息幂等性二、解决方案三、代码一、消息幂等性在编程中一个幂等操作的特点是其任意多次执行所产生的结果与一次执行的产生的结果相同，在mq中由于网络故障或客户端延迟消费mq自动重试过程中可能会导致消息的重复消费，那我们如何保证消息的幂等问题呢？也可以理解为如何保证消息不被重复消费呢，不重复消费也就解决了幂等问题。二、解决方案1、生成全局id，存入redis或者数据库，在消费者消费消息之前，查询一
转载
2024-02-29 22:07:29
80阅读
