需求最近接到公司的这么一个需求，在不使用消息中间件的情况下，开发一个消息发送的框架来异步处理各种服务，以提高系统的吞吐量，具体有以下几点要求:
1.支持数据的可持久化，公司最看重这个
2.服务高可用，公司使用了ngnix做负载均衡，有2台服务器
3.服务队列支持暂停和恢复
4.不侵入其他业务逻辑，也就是要做到低耦合。接到这个任务后，回去琢磨了一下，觉得应该先设计UML图和数据库。 初次使用EA软件
转载
2024-03-02 09:04:27
36阅读
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。官方首页：
转载
2024-03-26 11:40:53
36阅读
在做项目过程中，一些耗时长的任务可能需要在后台线程池中运行；典型的如发送邮件等，由于需要调用外部的接口来进行实际的发送操作，如果客户端在提交发送请求后一直等待服务器端发送成功后再返回，就会长时间的占用服务器的一个连接；当这类请求过多时，服务器连接数会不够用，新的连接请求可能无法得到满足，从而导致客户端连接失败。因此这类服务一般需要使用到后台线程池来处理。 在这
转载
2024-06-27 20:14:59
127阅读
Springboot整合消息队列Kafka一、Spring-Kafka二、快速入门2.1 引入依赖2.2 应用配置文件2.3 Application2.4 Demo01Message2.5 Demo01Producer2.6 Demo01Consumer2.7 Demo01AConsumer2.8 简单测试2.9 @KafkaListener 一、Spring-Kafka在 Spring 生态中
转载
2024-04-12 10:59:06
68阅读
前言可能大家用过或者了解过Spring Cloud，本章将简单的介绍一下Spring Cloud。主要议题Spring Cloud技术体系Spring/Spring Boot事件机制Bootstrap配置属性理解Environment端点主体内容一、Spring Cloud技术体系思维导图二、Spring/Spring Boot事件机制设计模式
观察者模式事件/监听器模式Spring核心接口
Ap
转载
2024-07-08 07:19:11
54阅读
何为死信队列？死信队列实际上就是，当我们的业务队列处理失败(比如抛异常并且达到了retry的上限)，就会将消息重新投递到另一个Exchange(Dead Letter Exchanges)，该Exchange再根据routingKey重定向到另一个队列，在这个队列重新处理该消息。 来自一个队列的消息可以被当做‘死信’，即被重新发布到另外一个“exchange”去，这样的情况有： 消
转载
2024-10-09 22:48:52
84阅读
一、概述 消息队列（Message Queue，简称 MQ）是阿里巴巴集团中间件技术部自主研发的专业消息中间件。产品基于高可用分布式集群技术，提供消息发布订阅、消息轨迹查询、定时（延时）消息、资源统计、监控报警等一系列消息云服务，是企业级互联网架构的核心产品。MQ 历史超过9年，为分布式应用系统提供异步解耦、削峰填谷的能力，同时
转载
2024-03-26 09:44:10
101阅读
一、消息队列概述1、什么是消息队列?消息队列是消息中间件的一种实现方式。消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前的消息队列有:ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。本篇主要对activeMQ集成到SpringBoot
转载
2024-02-19 10:11:32
499阅读
目的：使用Spring的@Scheduled实现定时任务1、在spring的配置文件中加入以下配置：xmlns:task="http://www.springframework.org/schema/task"http://www.springframework.org/schema/task
http://www.springframework.org/schema/task/spring-ta
转载
2024-03-20 21:10:35
108阅读
序 我们知道不同中间件之间存在很多差异，如RocketMQ支持定时重试，每次重试间隔逐渐增加。 Kafka，RabbitMq不支持重试。我们要做一个统一的Spring Cloud Starter 实现效果： （1）让Kafka，RabbitMq支持消息重试。 （2）使用不同的消息中间件时，我们不需要在maven引入不同的Jar包。开发好后的使用效果对于不同的中间件，我们仅需在application
转载
2024-04-09 10:03:48
49阅读
一.生产消费模型 什么是消息队列？在生活中，其实有很多的例子，都类似消息队列。比如：工厂生产出来的面包，交给超市，商场来出售，客户通过超市，商场来买面包，客户不会针对某一个工厂去选择，只管从超市买出来，工厂也不会管是哪一个客户买了面包，只管生产出来之后，交给超市，商场来处理。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可
转载
2024-06-24 21:25:51
11阅读
list 原理说明Redis 的 list 是按照插入顺序排序的字符串链表。如图所示，可以通过 lpush 和 rpop 或者 rpush 和 lpop 实现消息队列。1 lpush 和 rpop2 rpush 和 lpop消息队列功能实现引入 Redis 依赖<dependency>
<groupId>org.springframework.boot</gr
转载
2023-10-22 15:03:20
330阅读
redis用在什么地方？redis应用场景● 令牌(Token)生成● 短信验证码● 排行榜● 消息队列Redis 中list的数据结构实现是双向链表，所以可以非常便捷的应用于消息队列(生产者 / 消费者模型)。消息的生产者只需要通过lpush将消息放入 list，消费者便可以通过rpop取出该消息，并且可以保证消息的有序性。如果需要实现带有优先级的消息队列也可以选择sorted set。而pub
转载
2023-08-15 17:09:34
51阅读
最近开始总结消息队列的一些特点，公司中现在用到的消息队列是kafka,于是顺带结合下其他几个消息队列来比较一下1、Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？特性ActiveMQRabbitMQRocketMQKafka单机吞吐量万级，比 RocketMQ、Kafka 低一个数量级同 ActiveMQ10 万级，支撑高吞吐10 万级，高吞吐，一般配合大数据类的系
转载
2024-04-23 15:10:58
117阅读
消息队列面试题题目来自于中华石杉，解决方案根据自己的思路来总结而得。题目主要如下：1. 为什么要引入消息队列?消息队列的引入可以解决3个核心问题：解耦 异步 削峰 解耦在一个项目中，如果一个模块A产生的一个关键数据，需要调用其他模块接口服务；而需要调用的接口很多，又不确定之后是否还需要将数据传给其他模块的接口时。这
转载
2024-03-03 22:18:39
28阅读
进程间通信的方式有很多，常见的有信号，信号量，消息队列，管道，共享内存，和socket等，这里我们主要讨论管道，共享内存，和socket，其他的比较简单只做简单的介绍。信号：信号主要用于通知某个进程发生了什么事，就像你打电话通知某个人某件事一样，事先注册号信号相应的注册函数就可以了。信号量：信号量实际上是一个计数器，通常在多线程或者多进程开发中会用到，主要用来控制多线程多进程对于共享资源访问，通常
转载
2024-05-20 20:47:45
97阅读
RocketMQ消息中间件一、RocketMQ简介1.RocketMQ整体介绍RocketMQ是一款分布式、队列模式的消息中间件；官网地址：https://rocketmq.apache.org/2.RocketMQ的好处支持集群模型、负载均衡、水平扩展能力；亿级别的消息堆积能力；采用零拷贝的原理、顺序写盘、随机读；丰富的API使用；代码优秀，底层通信框架采用Netty NIO框架；NameSer
转载
2024-03-20 14:07:26
86阅读
今天来给大家分享关于消息队列的内容；作为一个软件技术开发者，听到消息队列这几个字，就有种很高端的感觉；因为现在只要是稍大的平台都要考虑大数据高并发的问题、集群的问题、负载均衡的问题；那么消息队列在解决这类问题上占着举足轻重的地位；比方说小伙伴们常常使用的火车篇购票软件12306就使用到了消息队列；所以消息队列的学习和掌握是作为一个高级开发这必备的技能了。01PART什么是消息队列图1：消息队列图1
之前我们讲的分布式事务的调用都是在一个service中的事务方法，去调用另外一个service中的业务方法，如果在一个sevice中存在两个分布式事务方法，在一个seivice中两个事务方法相互嵌套调用，对分布式事务有啥影响了现在TestSevice中存在两个事务方法，funcA和FunctionB现在有下面这样的一个需求我们来看下具体的业务代码package com.at
1. Kafka的经典架构 Kafka是LinkedIn 用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka 对消息保存时根据 Topic 进行归类。 发送消息者就是Producer，消息的发布描述为Producer 消息接受者就是 Consumer，消息的订阅描述为 Consumer 每个 Kafka 实例称为 Broker，将中间的存储阵列称作 Broker(代理)，Bro
