文章目录队列什么是对列？抽象数据类型定义**基本操作：**python中常用的队列操作函数标准库中的队列queue库queue.Queue(maxsize=0)queue.LifoQueue(maxsize=0)queue.PriorityQueue(maxsize=0)队列对象（ [Queue](#queue.Queue(maxsize=0)), [LifoQueue](#queue.Lifo
前言：上一篇单线程池的随笔提到了非固定线程数的线程池，那么本文就以前文为基础，剖析Java线程池中的Executors.newCachedThreadPool()。Executors.newCachedThreadPool()，后文简称为缓存线程池。
Executors.newCachedThreadPool()源码解析先看构建缓存线程池的源码public static ExecutorServi
QueueQueue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递基本FIFO队列class Queue.Queue(maxsize=0)FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器，使用方法很简单,maxsize是个整数，指明了队列中能存放的
转载
2024-05-20 23:34:15
63阅读
作者：中华石杉 面试题如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？面试官心理分析你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是这整个就积压了几个小时，你这个时候怎么办？或者是你积压的时间
转载
2024-09-04 16:41:58
82阅读
参考文档Kafka消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。主题：消息的种类称为 主题（Topic），可以说一个主题代表了一类消息，相当于是对消息进行分类。主题就像是数据库中的表。分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有
转载
2024-10-08 14:21:15
46阅读
在Kubernetes（K8S）中使用RabbitMQ，当队列满了怎么处理是一个非常重要的问题。在处理这个问题之前，首先我们需要了解一下RabbitMQ是什么以及在K8S中如何部署RabbitMQ。
RabbitMQ是一个开源的消息队列中间件，它实现了高级消息队列协议（AMQP）并提供可靠的消息传递。在K8S中部署RabbitMQ可以通过使用Helm包管理工具，使用Helm Chart来方便地进
原创
2024-05-21 10:33:11
327阅读
我们前一篇技术文章大概说明了，如何基于FreeRTOS嵌入式实时操作系统，进行基本的应用软件开发。在这里，我们将说说在应用中，如果使用FreeRTOS的队列。这是因为在应用程序中，不同任务间的消息传送，会大量用到队列这种方式。
先解释一下队列：是先进先出（FIFO, First-In-First-Out）的线性表。在具体应用中通常用链表或者数组来实现。队列只允许在后端（称为rea
消息队列消息队列，是消息的链接表，存放在内核中。一个消息队列由一个标识符（即队列ID）来标识。特点 （1）消息队列是面向记录的，其中的消息具有特定的格式以及特定的优先级（链表存放的为结构体）。 （2）消息队列独立于发送与接收进程。进程终止时，消息队列及其内容并不会被删除。 （3）消息队列可以实现消息的随机查询（链表的特性）,也可以按消息的类型读取。 （4）与无名管道、有名管道一样，从消息队列中读出
转载
2024-10-28 07:22:17
129阅读
前言： 用过的延迟任务处理队列（RocketMQ、KafKa、Redisson等），对于一些要求比较高的场景是无法运用于生产环境的，一旦机器宕机或者应用重启会导致队列消息丢失，从而造成无法挽回的损失。Redisson JDK内置的延迟队列或者基于时间轮算法的队列，都无法保证生产系统的高可用性，而Redisson很好的解决了这个问题。 Redisson&
转载
2023-08-09 21:32:24
122阅读
线程池的原理及实现 线程池的原理及实现Java 并发编程线程池的使用Java中的ThreadPoolExecutor类深入剖析线程池实现原理使用示例如何合理配置线程池的大小 本部分来自线程池的原理及实现 1、线程池简介： 多线程技术主要解决处理器单元内多个线程执行的问题，它可以显著减少处理器单元的闲置时间，增加处理器单元的吞吐能力。 假设一个服务器完成一项任务所需时间为：T1 创建线程时间，T
转载
2024-10-11 20:23:37
84阅读
消息积压处理办法：临时紧急扩容：先修复 consumer 的问题，确保其恢复消费速度，然后将现有 cnosumer 都停掉。新建一个 topic，partition 是原来的 10 倍，临时建立好原先 10 倍的 queue 数量。然后写一个临时的分发数据的 consu
转载
2023-07-27 21:06:46
151阅读
大量消息在 mq 里积压了几个小时了还没解决几千万条数据在 MQ 里积压了七八个小时，从下午 4 点多，积压到了晚上 11 点多。这个是我们真实遇到过的一个场景，确实是线上故障了，这个时候要不然就是修复 consumer 的问题，让它恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不能在面试的时候说吧。一个消费者一秒是 1000 条，一秒 3 个消费者是 3000 条，一分钟就是 18 万条
转载
2024-02-19 21:22:59
85阅读
有关消息队列问题处理的几个场景分析大量消息在mq里积压了几个小时了怎么办？大量消息在mq里积压了一段时间，导致触发TTL,消息丢失怎么办？消息积压在mq里，那么如果你很长时间都没处理掉，此时导致mq都快写满了，咋办？ 大量消息在mq里积压了几个小时了怎么办？几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多这个是我们真实遇到过类似的场景，确实是线上故障了，这
转载
2024-05-08 16:46:14
76阅读
POSIX消息队列与System V消息队列的主要区别：
1.对POSIX队列的读总数返回最高优先级到最早消息，对SV队列到读则可以返回任意指定优先级的消息
2.当往一个空队列放置一个消息时，POSIX允许产生一个信号或启动一个线程，System V不提供此机制
消息的属性：
1.一个无符号整数的优先级（POSIX）或一个长整数的类型（SV）
2.消息的数据部分
消息队列解决的问题：各服务同步通信时：服务即是("创建订单","扣减库存")这些步骤。比如下图中的电商订单系统为例，如果各服务之间使用同步通信，不仅耗时较久并且过程中受到网络波动的影响较大，不能保证高成功率。分析：(1) 用户进入点击下订单操作，然后会请求到后台服务器，后台服务器会进行一系列的操作，如："创建订单"，"扣减库存"等，每一个步骤其实都可以看作为一个微服务模块(2) 耗时久：每一个微服
转载
2024-05-16 10:12:10
84阅读
同 I/O 多路复用和信号驱动 I/O 一样，Linux 的 epoll（event poll）API 可以检查多个文件 描述符上的 I/O 就绪状态。epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。就让我们来一步步探索一、首先我
转载
2024-05-09 15:53:39
63阅读
1. 队列队列是为了任务与任务、任务与中断之间通信而准备的，可以在任务与任务、任务与中断之间传递消息，队列中可以存储有限的、大小固定的数据项。创建队列的时候需要指定数据项目的大小和队列的长度。1.1 数据存储●队列采用的是先进先出（FIFO）的缓存机制往队列发送数据（入队）：永远发送到队列的尾部从队列提取数据（出队）：永远从队列头部提取FreeRTOS也提供了后进后出（LIFO）数据缓存机制●队列
转载
2024-04-05 10:51:23
463阅读
台式电脑提示内存不足怎么回事台式电脑提示内存不足的解决分析一一、打开的程序太多如果同时打开的文档过多或者运行的程序过多，就没有足够的内存运行其他程序。这时，对于多文档界面(MDl)程序，如Word、Excel等，请关闭当前文档外的所有文档，并退出当前未使用的程序，然后或许你就能够继续执行因“内存不足”而被中断的任务。二、剪贴板占用了太多的内存实际上，剪贴板是内存中的一块临时区域，当你在程序中使用了
转载
2024-10-16 06:45:23
47阅读
# Java阻塞队列设置过期的解决方案
阻塞队列（Blocking Queue）是Java中常用的并发工具之一，它可以提供线程安全的元素存取操作。然而，有些应用场景中，我们可能希望在队列中的元素在一定时间后自动过期，以便及时清理不再需要的元素，避免内存泄漏或其他问题的发生。本文将探讨如何在Java中实现一个具有元素过期功能的阻塞队列。
## 1. 需求分析
我们希望实现的阻塞队列具有以下功能
原创
2023-10-14 07:12:45
41阅读
一、批量消息1.批量发送消息 发送限制:生产者进行消息发送时可以一次发送多条消息，这可以大大提升Producer的发送效率。不过需要注意以下几点：批量发送的消息必须具有相同的Topic批量发送的消息必须具有相同的刷盘策略批量发送的消息不能是延时消息与事务消息批量发送大小默认情况下，一批发送的消息总大小不能超过4MB字节。如果想超出该值，有两种解决方案：方案一：将批量消息进行拆分，拆分为若干不大于4
转载
2024-04-09 11:36:21
70阅读
