引言从本篇开始，少侠将会和大家一起进入消息队列（MQ）的学习。学习MQ之前，首先必须要掌握它的应用场景（不能为了用而用），然后继续深入关键特性。1 MQ的应用场景1.1 MQ应用场景：解耦语言间解耦应用间解耦 屏蔽实现细节 异步通信，做到上下游各自扩展 以投递通知的方式，上游不关注下游，不必同时在线地域之间解耦：数据复制、传递1.2 MQ应用场景：广播RPC：发送次数由消费者决定MQ：生产者只发送
这里写目录标题一、简介二、基本概念消息主题与分区生产者与消费者生产者消费者Brokers和集群偏移量自动提交偏移量如何防止重复消费信息？多机消费如何防止重复消费？消息堆积磁盘占用空间怎么办？如何保证消息不丢失?Kafka 零拷贝原理内存映射技术mmapKafka rebalance机制kafka缺点kafka为什么不支持更多的partitions？Springboot 集成 Kafka发送消息消
转载
2024-06-24 08:28:50
87阅读
MQ(Message Quene):消息队列，典型的生产者/消费者模型，生产者 不断向消息队列中生产消息，消费者不断地从消息队列中获取并消费消息。因为消息的产生和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，轻松地实现系统间解耦，所以又称为消息中间件。MQ通过利用高效可靠的消息传递机制进行平台无关的数据交互，并基于数据通信来进行分布式系统的集成。 主流MQ：老牌的ActiveMQ
转载
2024-07-15 00:07:37
385阅读
导读：Kafka 是广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析不可或缺的工具。本篇为 Kafka 系列的第一篇文章，之后将会每天持续更新，让你从上手到实践。作者 | 计缘什么是MQ首先我们来认知什么是MQ系统既消息队列（Message Queue）系统。举个不恰当的例子，消息（Message）就相当于自来水，队列（Queue）就相当于自来水管道，错综复杂的管道将自来水送给千家万户
转载
2024-05-29 11:46:55
25阅读
小编有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调API。对为什么使用这些中
1、kafka是什么类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。
Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition Utils.abs
转载
2024-04-07 00:04:35
59阅读
maven可以管理项目的依赖，如何找到jar的具体位置，唯一的标识就是坐标。开发过程中需要导入项目所依赖的jar，多个项目之间依赖的管理也有原则。1.坐标的概念<groupId>org.sonatype.nexus</groupId>
<artifactId>nexus-indexe
转载
2024-10-03 13:38:51
30阅读
JMM(Java Memory Model)：Java内存模型，是一个概念。JMM (Java Memory Model)是Java内存模型,JMM定义了程序中各个共享变量的访问规则,即在虚拟机中将变量存储到内存和从内存读取变量这样的底层细节。为什么要设计JMM:屏蔽各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致的内存访问效果。关于JMM的约定：1.线程解锁前必须把
1. 背景随着经济全球化和电子商务的发展，快递业务量也逐年攀升。传统的人工处理操作复杂且耗时，并且可能会出现价格不统一、资料不完整等问题，已经不能满足人们的需求。2. 技术实现2.1 SSMSSM框架,是Spring+SpringMVC+MyBaits的缩写。Spring实现业务对象管理，Spring MVC负责请求的转发和视图管理，Mybatis作为数据对象的持久化引擎。SSM框架是目前比较主流
目录前言 一、实验要求二、步骤1.主类2.消费者 3.生产者4.超市前言 消费者问题是操作系统中典型的进程同步互斥问题，（英语：Producer-Consumer problem），也称有限缓冲问题（英语：Bounded-buffer problem），是一个进程同步问题的经典案例。该问题描述了两个共享固定大小缓冲区的线程“生产者”（Producer）和“消费者”（C
2011/3/10 一、线程间通讯的Message机制1、Message介绍frameworks/base/core/java/android/Os/Message.javaMessage是线程之间传递信息的载体，包含了对消息的描述和任意的数据对象。Message中包含了两个额外的int字段和一个object字段，这样在大部分情况下，使用者就不需要再做内存分配工作了。虽然Message
转载
2024-01-14 13:16:18
115阅读
1、发布/订阅消息 之前创建的是一个工作队列。工作队列的设计思想是：每个任务仅能由一个worker消费。接下来做一些复杂点的东西：将一个消息传送至多个消费者客户端。这种模式称为“发布/订阅”。 创建一个简单的日志系统来演示这种模式，该系统包含两个简单的程序：一个是产生日志消息，一个接收消息并打印它们。在此日志系统中，所有启动的接收者都将接收这些消息。 实质上，发布的消息将会被广播至所有的消费者。
转载
2024-05-26 11:29:39
312阅读
今天在看项目的时候，看到了有关消息队列的代码，很多东西都是我不知道的，所以特地去查看了一下有关这方面的知识，然后将它总结了一下，希望可以帮到我自己，帮到你们。什么是mq？为什么要使用mq？ mq是message queue 消息队列，也叫消息中间件，是一种跨进程的通信机制，用于上下游传递消息，是类似于数据库一样需要独立部署在服务器上
转载
2023-11-23 12:48:44
285阅读
第1章 Kafka概述1.1、定义Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度
转载
2023-09-27 22:39:29
70阅读
（1）redis的主要作用是用以内存数据库，只是它提供的数据类型list可以用作消息队列而已而kafka是本身就是消息队列，消息的存储模型只是其中的一个环节，还提供了消息ACK和队列容量、消费速率等消息相关的功能，更加完善（2）redis 发布订阅除了表示不同的 topic 外，并不支持分组kafka每个consumer属于一个特定的consumer group（default group）, 同
转载
2023-06-29 11:30:57
114阅读
1、服务注册、服务发现是什么在分析eureka、zookeeper、nacos区别前，需要先清楚服务注册、服务发现是什么？1.1 传统模式在传统的系统部署中，服务运行在一个固定的已知的 IP 和端口上，如果一个服务需要调用另外一个服务，可以通过地址直接调用。但是，在微服务架构下，服务实例的启动和销毁是很频繁的，服务地址在动态的变化，而且，由于自动扩展，失败和更新，服务实例的配置也经常变化，所以，无
转载
2024-04-23 10:52:16
154阅读
Kafka RabbitMQ RocketMQ 对比Kafka 性能很高,发送消息基本都是毫秒级别的,支持集群部署,具备高可用的特性,比较为人诟病的一点似乎就是丢数据方面的问题,Kafka收到消息都会写入到一个磁盘缓冲区里,并没有直接写入磁盘中去,如果机器故障,可能导致磁盘缓冲区里的数据丢失. 另外一个比较大的缺点就是功能十分单一,主要支持发送消息给它,然后从里面消费消息,没有其他高级的功能,使用
转载
2024-04-09 11:19:43
24阅读
etcd 简介etcd 是一个可靠的分布式 key-value 存储系统，主要用于配置共享和服务注册和发现，具有以下特性：简单：基于 gRPC 定义了清晰、面向用户的 API。安全：支持可选的客户端 TLS 证书自动认证特性。快速：支持每秒 10000 次的写入。可靠：基于 Raft 算法协议保证一致性。etcd 使用 Go 语言开发，底层基于 Raft 共识算法管理高可用的复制日志。当前已经被许
转载
2024-03-03 15:26:16
198阅读
Kafka概念kafka是一个分布式基于发布-订阅模式的高吞吐量、高水平拓展的消息流中间件。 【重点：高吞吐量】 kafka的基础架构中主要包含的角色有：broker、生产者、消费者；当前还包含zookeeper。 生产者：负责发送消息。 消费者：负责处理消费消息。 broker：负责存储缓冲消息，创建topic，有partition分区和replication的概念。【在0.9版本之前，kafk
转载
2024-03-27 05:45:12
58阅读
本文作者是 David Kjerrumgaard，目前任职于 Splunk，Apache Pulsar 和 Apache NiFi 项目贡献者。译者为 Sijia@StreamNative。关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持
转载
2024-02-09 16:02:57
104阅读
