Kafka 中的 ISR 和 OSR：理解它们的重要作用

原创

我爱哇哈哈 2024-10-11 22:43:11 博主文章分类：实施运维记录 ©著作权

文章标签 数据可扩展性高可用性 文章分类 架构后端开发 yyds干货盘点

©著作权归作者所有：来自51CTO博客作者我爱哇哈哈的原创作品，请联系作者获取转载授权，否则将追究法律责任

《Kafka 中的 ISR 和 OSR：理解它们的重要作用》

在深入了解 Kafka 这个强大的分布式消息系统时，我们经常会听到两个重要的概念：ISR（In-Sync Replicas）和 OSR（Out-of-Sync Replicas）。它们在 Kafka 的高可用性和数据可靠性方面发挥着至关重要的作用。今天，我们就来详细探讨一下 ISR 和 OSR 的作用分别是什么。

一、Kafka 简介

Kafka 是一种高吞吐量的分布式发布订阅消息系统，被广泛应用于大数据处理、流数据处理等场景。它具有高可靠性、高可扩展性和高性能等特点，能够有效地处理大量的实时数据。

二、ISR 的作用

保证数据可靠性
- ISR 即同步副本集合，是指那些与 Leader 副本保持同步的 Follower 副本。
- 当 Producer 向 Kafka 发送消息时，消息首先被写入 Leader 副本，然后 Leader 副本会将消息同步到 ISR 中的 Follower 副本。
- 只有当 ISR 中的所有副本都成功写入消息后，这条消息才被认为是已提交的，此时 Consumer 才能读取到这条消息。
- 这样可以确保即使 Leader 副本出现故障，也可以从 ISR 中的其他副本中选举出新的 Leader，从而保证数据不会丢失。
实现高可用性
- 由于 ISR 中的副本与 Leader 副本保持同步，因此在 Leader 副本出现故障时，可以快速地从 ISR 中选举出新的 Leader，从而减少系统的停机时间，提高系统的可用性。
- 同时，Kafka 还支持动态调整 ISR 的大小，当 Follower 副本的同步速度变慢时，它可能会被从 ISR 中移除；当 Follower 副本的同步速度恢复时，它又可以重新加入 ISR。

三、OSR 的作用

提供数据备份
- OSR 即不同步副本集合，是指那些与 Leader 副本不同步的 Follower 副本。
- 虽然 OSR 中的副本不能用于选举新的 Leader，但是它们仍然可以作为数据的备份，在需要的时候可以用于恢复数据。
- 例如，当 ISR 中的副本全部出现故障时，可以从 OSR 中的副本中恢复数据，从而减少数据丢失的风险。
提高系统的可扩展性
- OSR 中的副本可以在系统负载较低时进行同步，当系统负载增加时，可以将它们加入到 ISR 中，从而提高系统的处理能力。
- 这样可以在不影响系统性能的情况下，实现系统的动态扩展。