1. 基本信息介绍基于spring的kafka应用，非常简单即可搭建起来，前提是要有一个kafka的broker集群。我在之前的博文里面已经介绍并搭建了一套broker环境，参考Kafka研究【一】：bring up环境。另外，要注意的是kafka基于spring框架构建应用，需要注意版本信息，下面是官方要求：Apache Kafka Clients 1.0.0Spring Framework 5
转载
2024-03-31 22:21:53
105阅读
Kafka是一个分布式流处理平台，它可以处理网站、应用程序和传感器等众多来源的数据流。它的高吞吐量、可扩展性和容错性使其成为企业级应用程序的理想选择。本文将介绍如何将SpringBoot应用程序与Kafka集成。SpringBoot与Kafka集成SpringBoot提供了对Kafka的支持，这使得我们可以轻松地将应用程序与Kafka集成。 Kafka是一个分布式流处理平台，用于收集、存储、处理和
转载
2023-08-04 14:27:30
146阅读
kafka官网地址：http://kafka.apache.org/intro.htmlKakfa简介Apache Kafka 是一个分布式流平台。 流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息系统。以容错持久的方式存储记录流。当记录流产生的时候可以即时处理。kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道。构建实时流应用程序，用于转换或
转载
2024-03-29 06:33:34
88阅读
在构建分布式和微服务架构时，消息队列如Apache Kafka已成为实现高效通信和数据处理的关键组件。Spring Boot作为Java领域的流行框架，提供了与Kafka的无缝集成。本文将详细介绍如何在Spring Boot项目中优雅地集成Kafka，并通过最佳实践和代码示例来指导你。一、前提条件确保你已经安装了Kafka和ZooKeeper，并且它们正在正常运行。首先，你需要创建一个Spring
下载kafkahttps://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz解压安装包> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0/bin查看bin目录下主要几个脚本功能如下：脚本功能kafka-server-start.sh启动kaf
转载
2024-04-22 12:05:00
42阅读
1.入门指南1.1简介Apache的Kafka™是一个分布式流平台(a distributed streaming platform)。这到底意味着什么？我们认为，一个流处理平台应该具有三个关键能力：它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流，从而具有容错能力。它可以让你处理收到的记录流。Kafka擅长哪些方面？它被用于两大类应用：建立实
转载
2024-05-10 11:07:28
94阅读
您可以参考前一篇文章 （一）Kafka0.8.2官方文档中文版系列-入门指南2. API 我们正在为Kafka重写JVM客户端。在Kafka0.8.2中，包含一个新重写的Java producer。下一个版本将包含一个等效的Java consumer。这些新客户端旨在取代现有的Scala客户端，但为了兼容性，它们将共存一段时间。这些客户端可以在一个独立的jar中使用，并且具有最
转载
2024-03-21 09:49:17
32阅读
简介多租户保证： 同一个partition内的顺序性； consumer能够按序看到日志文件中的记录； 对于副本因子为N的topic，即使N-1个服务器宕机，已经提交到日志的记录能够不被丢失。用作消息系统： 简化了传统消息系统的两种概念：queuing publish-subscribe 将topic中的每一个partition分配给组里的一个consumer，能够保证同一个partit
转载
2024-02-29 12:58:55
30阅读
最近公司接触到了kafka，简单翻译了一下kafka的文档Getting Started简介：Kafka 是一个分布式的，有分区的重复提交的日志记录服务，为系统开发者提供了一个消息中间件。首先介绍一些基本的消息用语：1. Kafka 包含一系列的消息目录,命名为 topics（主题）2.&nb
转载
2024-05-02 10:47:57
11阅读
快速入门 快速入门第一步下载kafka第二步启动kafka服务端第三步创建主题第四步发送消息第五步启动消费者第六步启动一个多broker集群第七步使用Kafka连接器Kafka Connect导入导出数据第八步使用Kafka流Kafka Streams处理数据 翻译者：kimmking@163.com原文：kafka.apache.org/quickstart本教程假设读者完全从零开始，电脑上没有
转载
2024-03-10 13:29:16
55阅读
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 1、1 术语：Topic：可以理解为一个MQ消息队列的名字Producers：将向Kafka topic发布消息的程序Consumers：将预订topics并消费消息的程序Broker：Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。客户端和服
转载
2024-03-29 13:52:39
15阅读
1.动机 我们设计的Kafka能够作为统一的平台来处理大型公司可能拥有的所有实时数据。为了做到这一点，我们不得不考虑一系列相当广泛的用例。 它必须具有高吞吐量来支持大量事件流，例如实时日志聚合。 它将需要正常处理大量数据积压，以便能够支持从离线系统定期进行数据加载。 这也意味着系统必须处理低延迟传递来处理更传统的消息传递用例。 我们希望支持可分区的，分布式的，实时的数据反馈处理，并创建和分发新的反
转载
2024-05-03 16:45:17
58阅读
主要功能：发布和订阅：读取和写入数据流，如消息传递系统。处理：编写可扩展的流处理应用程序，以实时响应事件。存储：将数据流安全地存储在分布式，复制的容错群集中。介绍：Apache Kafka 是一个分布式流媒体平台。 这到底是什么意思呢？流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流...
原创
2021-04-26 01:07:24
1836阅读
介绍Apache Kafka 是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。注意:Kafka并没有遵循JMS规范（），它只提供了发布和订阅通讯方式
转载
2024-04-12 13:37:36
595阅读
一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。------------------------------------------- 系统 相关 -------------------------------------------
##每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.
转载
2024-09-30 18:40:17
118阅读
最近公司接触到了kafka，简单翻译了一下kafka的文档Getting Started简介：Kafka 是一个分布式的，有分区的重复提交的日志记录服务，为系统开发者提供了一个消息中间件。首先介绍一些基本的消息用语：1. Kafka 包含一系列的消息目录,命名为 topics（主题）2.&nb
翻译
精选
2014-05-21 11:58:26
1021阅读
#启动kafka/export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh -daemon /export/servers/kafka/config/server.prop
原创
2022-10-31 11:03:08
143阅读
https://kafka.apache.org/documentation/#topicconfigs
原创
2024-02-26 17:28:57
138阅读
# 使用 Docker 部署和管理 Kafka
## 简介
Kafka 是一个分布式的开源消息队列系统，具有高吞吐量、容错性好以及可伸缩性强等特点。它常被用于大规模数据流处理、日志收集和消息队列等场景。然而，配置和部署 Kafka 过程中常常会遇到一些困难。Docker 是一种容器化技术，能够简化应用的部署和管理过程，因此使用 Docker 部署和管理 Kafka 是一个非常方便和有效的方式。
原创
2024-01-11 10:34:41
54阅读
Springboot 整合 Kafka入门kafka 简介Kafka 特点 Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统，之后成为 Apache 的顶级项目。主要特点如下：同时为发布和订阅提供高吞吐量 Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对TB 级以上数据也能保证常数时间的访问性能。即使在非常廉价的商用机器上也能做
转载
2024-02-19 10:18:13
48阅读
