MQ在Pro、Con端，依靠业务代码，配合请求确认机制保证在服务端，采用持久化和复制保证不会丢消息。把消息复制到多节点，可解决丢消息问题保证消息服务的HA所以都会把MQ配置成集群模式，并开启消息复制。那么消息复制需要解决哪些问题呢？1 消息复制的指标期望MQ具备高性能、高可用和数据一致性。很多MQ都声明这些特性全部支持，但都有前置条件。1.1 性能无论采用哪种复制，都需数据被写到多节点后再返回，性
转载
2021-01-27 22:50:59
260阅读
2评论
MQ在收发两端，主要是依靠业务代码，配合请求确认的机制，保证消息不会丢失。
原创
2022-03-14 17:16:32
362阅读
MQ
在Pro、Con端，依靠业务代码，配合请求确认机制保证
在服务端，采用持久化和复制
保证不会丢消息。
把消息复制到多节点，可
解决丢消息问题
保证消息服务的HA
所以都会把MQ配置成集群模式，并开启消息复制。
那么消息复制需要解决哪些问题呢？
1 消息复制的指标
期望MQ具备高性能、高可用和数据一致性。很多MQ都声明这些特性全部支持，但都有前置条件。
1.1 性能
无论采用哪种复制，都需数
原创
2021-06-24 14:45:39
432阅读
导语 ： 消息队列是分布式系统中重要的组件，在很多生产环境如商品抢购等需要控制并发量的场景下都需要用到。最近组内需要做流水server的选型升级，这里对消息队列及常见的消息队列进行了一次调研，整理了相关资料，分享给大家。 一、消息队列(MQ)概述 消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为： 当不需要立即获得结
转载
2024-03-14 21:19:34
111阅读
1 生产者1.1 发送消息注意事项1 Tags的使用一个应用尽可能用一个Topic，而消息子类型则可以用tags来标识。tags可由应用自行设置，只有生产者在发送消息设置了tags，消费方在订阅消息时才可以利用tags通过broker做消息过滤：message.setTags("TagA");2 Keys的使用每个消息在业务层面的唯一标识码要设置到keys字段，方便日后定位消息丢失问题。
原创
2021-07-13 14:43:43
833阅读
1 生产者1.1 发送消息注意事项1 Tags的使用一个应用尽可能用一个Topic，而消息子类型则可以用tags来标识。tags可由应用自行设置，只有生产者在发送
原创
2022-01-18 11:35:19
389阅读
对于MQ
在Pro、Con客户端，依靠业务代码，配合请求确认机制保证不会丢消息。
在服务端，一般采用持久化和复制做保证。
把消息复制到多个节点，不仅可解决丢消息问题，还可保证消息服务的HA。所以都会把MQ配置集群模式，并开启消息复制保证系统。
那么消息复制需要解决哪些问题呢？
1 消息复制的指标
我们希望MQ兼具高性能、高可用并且还能提供数据一致性。虽然很多MQ宣称三个特性全都支持，
转载
2021-09-16 09:47:15
239阅读
这是一篇关于 Kafka 实践的文章，内容来自 DataWorks Summit/Hadoop Summit（Hadoop Summit）上的一篇分享，里面讲述了很多关于...
转载
2021-06-10 21:23:42
240阅读
前言
Kafka 最佳实践，涉及
典型使用场景
Kafka 使用的最佳实践
Kafka 典型使用场景
Data Streaming
Kafka 能够对接到 Spark、Flink、Flume 等多个主流的流数据处理技术。利用 Kafka 高吞吐量的特点，客户可以通过 Kafka 建立传输通道，把应用侧的海量数据传输到流数据处理引擎中，数据经过处理分析后，可支持后端大数据分析，AI 模型训练等多
原创
2023-03-13 09:49:32
192阅读
这是一篇关于 Kafka 实践的文章，内容来自 DataWorks Summit/Hadoop Summit（Hadoop Summit）上的一篇分享，里面讲述了很多关于...
转载
2021-06-10 21:23:40
878阅读
Kafka可以保证消息在一个Partition分区内的顺序性。如果生产者按照顺序发送消息，Kafka将按照这个顺序将消息写入分区，消费者也会按照...
原创
2022-03-25 09:35:45
404阅读
本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法，以及消息队列 Kafka「检索组件」的场景实践，并对其关键技术进行解读。旨在帮助大家对消息队列 Kafka「检索组件」的特点和使用方式更加熟悉，以更有效地解决消息排查过程中所遇到的问题。
原创
2022-07-26 18:42:57
120阅读
常用的消息队列有Kafka、RabbitMQ、ActiveMQ、metaq等kafka有什么？producer 消息的生成者，即发布消息consumer 消息的消费者，即订阅消息broker Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper 协调转发1、下载kafkacd /usr/nacp/
wget http://mirror.bit.edu.cn/a
转载
2024-06-19 17:03:44
90阅读
1.kafka官网:kafka官网1.kafka概述1)Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。（传统使用）Kafka是一个开源的分布式事件流平台（event streaming platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。（最新定位）2)消息队列消息队列1.什么是消息队列?
消息队列
转载
2024-02-29 14:44:49
62阅读
第一、Kafka 简介分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列应用场景消息队列优点解耦可恢复性缓冲灵活性 & 峰值处理能力异步通信消息队列模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息
转载
2024-05-13 22:02:53
445阅读
1.什么是消息队列（Message Queue）消息队列是消息在传输过程中保存消息的容器（源自百度百科），消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性及日志记录。目前使用较多的消息队列有：ActiveMQ，RabbitMQ，Kafka，RocketMQ等等。应用的场景有异步处理，应用解耦，流量削锋和消息通讯。2.kafka介绍kafka是分布式发布-订阅消
转载
2024-02-28 08:14:45
112阅读
kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域。消息队列传统的消息队列&新式的消息队列的模式上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户而新式的队列是，比如一个用户注册信息，数据直接丢进数据库，就直接返回
转载
2024-04-17 11:39:01
44阅读
前言最新项目中要用到消息队列来做消息的传输，之所以选着 Kafka 是因为要配合其他 java 项目中，所以就对 Kafka 了解了一下，也算是做个笔记吧。本篇不谈论 Kafka 和其他的一些消息队列的区别，包括性能及其使用方式。简介Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。一些名词如果要使
转载
2024-07-04 16:23:58
45阅读
对系统增加MQ对峰值写流量做削峰填谷，对次要业务逻辑做异步，对不同系统模块做解耦。因为业务逻辑从同步代码中移除了，所以也要有相应队列处理程序处理消息、执行业务逻辑，这时系统架构：随着业务逻辑复杂，会引入更多外部系统和服务，就会越来越多使用MQ与外部系统解耦合以及提升系统性能。
原创
2021-09-22 13:44:42
5880阅读
一、Kafka数据收集机制Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Partition，默认采用Hash的机制发送数据到对应Topic的不同Partition中，配置参数为{p
转载
2023-12-12 15:42:52
107阅读
