kafka 稳定版 kafka哪个版本用的比较多

转载

mob64ca1415bcee 2024-03-22 09:06:57

文章标签 kafka 稳定版 Apache 应用程序 Scala 文章分类 架构后端开发

Apache Kafka 2.5.0 稳定版于美国当地时间2020年4月15日正式发布，这个版本包含了一系列的重要功能发布，比较重要的特性重要包括：

•支持 TLS 1.3 (目前默认是用 1.2)•Kafka Streams DSL 中支持 Co-groups；•Kafka Consumer 支持增量再平衡（Incremental rebalance）•为更好地洞察算子运行，引入了新的指标；•Apache Zookeeper 升级到 3.5.7•不再支持 Scala 2.11•KIP-500 有了新的进展。

如果需要下载最新版的 Apache Kafka 2.5.0，可以到这里下载。由于时间和篇幅的关系，下面文章列出本次比较重要的特性和进展。

Kafka broker, producer, 和 consumer 的更新

KIP-500 有了新的进展

用过 Kafka 的用户应该清楚，Kafka 的 Broker、topic 以及分区相关的信息是存放在 Apache Zookeeper 中的，Apache Zookeeper 是一个独立的系统，有其独立的存储，为了 Kafka 集群能够更好地运行，开发者们必须对 Kafka 和 Zookeeper 两个系统都很熟悉，这在一定程度上是增加了我们的负担。为了减少使用者的负担，KIP-500 提议将之前存储在 Zookeeper 里面的东西全部移到 Kafka 集群内部维护，也就是说未来 Kafka 不需要依赖 Zookeeper 即可运行。

Apache Kafka 2.5.0 版本对这项工作有了新的进展，比如 KIP-555 中解决管理员工具中不再需要请求 Zookeeper，KIP-543 中使得动态配置不再需要请求 Zookeeper。

KIP-500 是一个大功能，它的最后解决需要在未来几个版本才能体现。

仅且一次语义（Exactly once semantics）改进

KIP-447: Producer 可伸缩性支持仅且一次语义

这个 KIP 简化了以事务方式从 Kafka 读写的应用程序的 API。以前，这个用例通常需要为每个输入分区提供单独的生产者实例，现在这个限制已经被取消了。这使得构建消费大量分区的仅且一次语义的应用程序变得更加容易。详情可以参见 KIP-447。

KIP-360: 提高幂等/事务性生产者的可靠性

这个 KIP 解决了生产者状态保留在 broker 上问题，使得幂等性保证成为可能。在此之前，当日志被截断以强制保留或从删除记录的调用中截断时，broker 将删除生产者的状态，这将导致 UnknownProducerId 异常。通过这个改进，broker 将保留 producer 状态直到过期。这个 KIP 还为生产者提供了一种从意外错误中恢复的强大方法。

Kafka Streams

KIP-150: Add Cogroup to the DSL

过去，将多个流聚合成一个流可能很复杂，而且容易出错。通常我们需要将所有流分组（group）并聚合（aggregate）到表中，然后进行多个 outer join 调用。新的 co-group 算子简化了这个过程，其减少了状态存储调用的数量，总体上提高了性能。具体使用如下：

KTable<K, CG> cogrouped =
  grouped1
    .cogroup(aggregator1)
    .cogroup(grouped2, aggregator2)
    .cogroup(grouped3, aggregator3)
    .aggregate(initializer1, materialized1);