本文来自网易云社区 作者：田宏增 Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制,replication的数量可以在$KAFKA_H
转载
2018-09-28 10:41:00
163阅读
2评论
本文来自网易云社区 作者：田宏增 Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制,replication的数量可以在$KAFKA_H
转载
2018-09-28 10:40:00
257阅读
2评论
角度分析一下Kafka中会出现哪些情况：1.producer发送消息到Broker目前生产者发送消发送ack，丢会重发，丢
原创
2022-11-24 20:59:34
95阅读
如果MQ没有类似数据库事务结构和保证，是不可能达到消息投递100%可靠的，极端情况下消息投递要么丢失或重复。下面咋们从produce
原创
2023-04-28 00:01:49
170阅读
Kafka——可靠的数据传递kafka的复制机制和分区的多副本架构时kafka可靠性保证的核心。可靠性保证ACID规范：原子性、一致性、隔离性和持久性kafka可以保证分区内消息的顺序只有当消息被写入分区的所有同步副本时（但不一定写入磁盘），才被称为“已提交”的消息只要还有一个副本时活跃的，那么已提交的消息就不会丢失消费者只能读取已提交的消息复制复制功能是kafka架构的核心。在个别节点失效时仍能
转载
2024-04-25 13:13:36
67阅读
一、前言在如今的分布式环境时代，任何一款中间件产品，大多都有一套机制去保证高可用的，Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知，那 Kafka 如何保证可靠性的呢？本文从 Producer 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍 Kafka 是如何保证可靠性的。二、Producer 往 Broker 发送消息如果我们要往 Kafk
转载
2024-04-13 17:17:32
41阅读
精品推荐国内稀缺优秀Java全栈课程-Vue+SpringBoot通讯录系统全新发布!Docker快速手上视
原创
2021-07-26 16:52:54
72阅读
前言消息中间件的可靠性消息传递，是消息中间件领域非常重要的方案落实问题（在这之前的MQ理论，MQ选型是抽象层次更高的问题，这里不谈）。并且这个问题与日常开发是存在较大的关联的。可以这么说，凡是使用了MQ的，机会都要考虑这个问题。当然也有一些原始数据采集，日志数据收集等应用场景对此没有过高要求。但是大多数的业务场景，对此还是有着较高要求的。比如订单系统，支付系统，消息系统等，你弄丢一条消息，嘿嘿。网
原创
2020-01-16 15:54:48
749阅读
消息中间件-消息的可靠性传递前言消息中间件的可靠性消息传递，是消息中间件领域非常重要的方案落实问题（在这之前的MQ理论，MQ选型是抽象层次更高的问题，这里不谈）。并且这个问题与日常开发是存在较大的关联的。可以这么说，凡是使用了MQ的，机会都要考虑这个问题。当然也有一些原始数据采集，日志数据收集等应用场景对此没有过高要求。但是大多数的业务场景，对此还是有着较高要求的。比如订单系统，支付系统，消息系统
转载
2020-01-16 08:56:00
253阅读
2评论
一般规则关于消息发送，有两条基本规则：最多一次，即不保证消息传递可
原创
2023-03-28 12:49:19
87阅读
首先我们知道在Kafka中一台kafka服务器就是一个broker。一个broker可以容纳多个topic。一个topic可以分为多个partition。一个partition有若干个副本（一个leader和若干个follower）。生产者发送数据的对象，以及消费者消费数据的对象都是leader。follower实时从leader中同步数据，保持和leader数据的同步。 leader发生故障时，
转载
2024-03-22 10:25:12
59阅读
导语 | Kafka作为一款性能优秀的消息队列，主要用于异步、削峰、解耦处理，在分布式事务中有着广泛的应用，但仍有很多开发者在运用过程中存在疑惑。文本将为大家由浅入深剖析Kafka基础原理以及它的消息可靠性策略，帮助大家理解这一技术知识。文章作者：张璇，腾讯应用开发工程师。
一、背景
部门的开发同学最近在开发一个活动的过程中，需要关注大量的应用后台逻辑，捕捉各种事件的触发。在设计时打算采
转载
2021-06-12 17:27:11
171阅读
作者：张小鹏
RabbitMQ和Kafka都提供持久的消息保证。两者都提供至少一次和至多一次的保证，另外，Kafka在某些限定情况下可以提供精确的一次（exactly-once）保证。
让我们首先理解一下上述术语的含义：
至多一次投递：消息绝对不会被重复投递，但是消息可能丢失
至少一次投递：消息绝对不会被丢失，但是有可能重复被消费
精确的一次投递：消息系统的圣杯。所有的消息精确的被投递一次。
转载
2021-09-15 13:34:02
255阅读
一、背景部门的开发同学最近在开发一个活动的过程中，需要关注大量的应用后台逻辑，捕捉各种事件的触发。在设计时打算采用Kafka消息队列进行业务逻辑的解耦，这样活动开发和后台开发同学的工作就分离开了。但是使用的同学不是很熟悉其原理，担心以下几个问题：我什么业务场景下使用消息队列？我发消息的时候，需要等ack吗?我发了消息之后，消费者一定会收到吗？申请腾讯云的Kafka实例后，各种参数怎么设置呀？遇到各
原创
2021-03-31 22:44:31
212阅读
RabbitMQ和Kafka都提供持久的消息保证。两者都提供至少一次和至多一次的保证，另外，Kafka在某些限定情况下可以提供精确的一次（exactly-once）保证。 让我们首先理解一下上述术语的含义： 至多一次投递：消息绝对不会被重复投递，但是消息可能丢失 至少一次投递：消息绝对不会被丢失，但
原创
2022-08-23 16:33:42
266阅读
当思考消息队列的消息丢失的时候，通常可以从三方面来思考：Producer生产者端丢失。Broker服务器端丢失。Consumer消费者端丢失。以上三点思考方式是通用的，例如RocketMQ的消息可靠性（防止消息丢失）。1 Producer端Producer调用send方法发送消息之后会直接返回，消息可能因为网络问题并没有发送过去。因此我们可以调用get方法，该方法会在Broker返回结果之前一致阻
转载
2024-03-16 01:30:57
18阅读
我们讨论可靠性时，一般使用保证这个词，它是确保系统在各种不同的环境下能够发生一致的行为。Kafka可以在哪些方面作出保证呢？1.Kafka可以保证分区消息的顺序2.只有消息被写入分区的所有同步副本时，它才会被认为是已提交的。生产者可以选择接收不同类型的确认。3.只要还有一个副本是活跃的，那么提交的消息就不会丢失。4.消费者只能读取已经提交的消息。Kafka的管理员和开发者可以在配置参数上作出权衡，
转载
2024-09-12 21:56:39
62阅读
定义普通队列和死信队列，并设置死信交换器。// 创建普通交换器和队列 channel . exchangeDeclare(EXCHANGE_NAME , BuiltinExchan
kafka的解决方式1.消费者弄丢了数据 唯一可能导致消费者弄丢消息的情况是消费者自动提交了 offset消息，kafka认为你已经消费了这个消息，但是你刚刚处理的过程中，自己就挂掉了，那么这个消息就丢失了 那么大家都知道，kafka能够自己自动提交offset,那么只要关闭自动提交offset,在处理完之后自己手动提交offset,就可以保证数据不会丢...
原创
2019-10-08 09:44:26
88阅读
Kafka-如何保证生产者的可靠性即使我们尽可能把broker配置的很可靠，但如果没有对生产者进行可靠性方面的配置，整个系统仍然有可能出现突发性的数据丢失。举例：为broker配置了3个副本，并且禁用了不完全首领选举，这样应该可以保证万无一失。我们把生产者发送消息的acks设为1(只要首领接收到消息就可以认为消息写入成功)。生产者发送一个消息给首领，首领成功写入，但跟随者副本还没有接收到这个消息。
转载
2024-06-18 05:45:47
25阅读
