kafka官网地址：http://kafka.apache.org/intro.htmlKakfa简介Apache Kafka 是一个分布式流平台。 流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息系统。以容错持久的方式存储记录流。当记录流产生的时候可以即时处理。kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道。构建实时流应用程序，用于转换或
转载
2024-03-29 06:33:34
88阅读
下载kafkahttps://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz解压安装包> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0/bin查看bin目录下主要几个脚本功能如下：脚本功能kafka-server-start.sh启动kaf
转载
2024-04-22 12:05:00
42阅读
您可以参考前一篇文章 （一）Kafka0.8.2官方文档中文版系列-入门指南2. API 我们正在为Kafka重写JVM客户端。在Kafka0.8.2中，包含一个新重写的Java producer。下一个版本将包含一个等效的Java consumer。这些新客户端旨在取代现有的Scala客户端，但为了兼容性，它们将共存一段时间。这些客户端可以在一个独立的jar中使用，并且具有最
转载
2024-03-21 09:49:17
32阅读
1.入门指南1.1简介Apache的Kafka™是一个分布式流平台(a distributed streaming platform)。这到底意味着什么？我们认为，一个流处理平台应该具有三个关键能力：它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流，从而具有容错能力。它可以让你处理收到的记录流。Kafka擅长哪些方面？它被用于两大类应用：建立实
转载
2024-05-10 11:07:28
94阅读
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 1、1 术语：Topic：可以理解为一个MQ消息队列的名字Producers：将向Kafka topic发布消息的程序Consumers：将预订topics并消费消息的程序Broker：Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。客户端和服
转载
2024-03-29 13:52:39
15阅读
最近公司接触到了kafka，简单翻译了一下kafka的文档Getting Started简介：Kafka 是一个分布式的，有分区的重复提交的日志记录服务，为系统开发者提供了一个消息中间件。首先介绍一些基本的消息用语：1. Kafka 包含一系列的消息目录,命名为 topics（主题）2.&nb
转载
2024-05-02 10:47:57
11阅读
简介多租户保证： 同一个partition内的顺序性； consumer能够按序看到日志文件中的记录； 对于副本因子为N的topic，即使N-1个服务器宕机，已经提交到日志的记录能够不被丢失。用作消息系统： 简化了传统消息系统的两种概念：queuing publish-subscribe 将topic中的每一个partition分配给组里的一个consumer，能够保证同一个partit
转载
2024-02-29 12:58:55
30阅读
快速入门 快速入门第一步下载kafka第二步启动kafka服务端第三步创建主题第四步发送消息第五步启动消费者第六步启动一个多broker集群第七步使用Kafka连接器Kafka Connect导入导出数据第八步使用Kafka流Kafka Streams处理数据 翻译者：kimmking@163.com原文：kafka.apache.org/quickstart本教程假设读者完全从零开始，电脑上没有
转载
2024-03-10 13:29:16
55阅读
1.动机 我们设计的Kafka能够作为统一的平台来处理大型公司可能拥有的所有实时数据。为了做到这一点，我们不得不考虑一系列相当广泛的用例。 它必须具有高吞吐量来支持大量事件流，例如实时日志聚合。 它将需要正常处理大量数据积压，以便能够支持从离线系统定期进行数据加载。 这也意味着系统必须处理低延迟传递来处理更传统的消息传递用例。 我们希望支持可分区的，分布式的，实时的数据反馈处理，并创建和分发新的反
转载
2024-05-03 16:45:17
58阅读
主要功能：发布和订阅：读取和写入数据流，如消息传递系统。处理：编写可扩展的流处理应用程序，以实时响应事件。存储：将数据流安全地存储在分布式，复制的容错群集中。介绍：Apache Kafka 是一个分布式流媒体平台。 这到底是什么意思呢？流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流...
原创
2021-04-26 01:07:24
1836阅读
最近公司接触到了kafka，简单翻译了一下kafka的文档Getting Started简介：Kafka 是一个分布式的，有分区的重复提交的日志记录服务，为系统开发者提供了一个消息中间件。首先介绍一些基本的消息用语：1. Kafka 包含一系列的消息目录,命名为 topics（主题）2.&nb
翻译
精选
2014-05-21 11:58:26
1021阅读
#启动kafka/export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh -daemon /export/servers/kafka/config/server.prop
原创
2022-10-31 11:03:08
143阅读
# 使用 Docker 部署和管理 Kafka
## 简介
Kafka 是一个分布式的开源消息队列系统，具有高吞吐量、容错性好以及可伸缩性强等特点。它常被用于大规模数据流处理、日志收集和消息队列等场景。然而，配置和部署 Kafka 过程中常常会遇到一些困难。Docker 是一种容器化技术，能够简化应用的部署和管理过程，因此使用 Docker 部署和管理 Kafka 是一个非常方便和有效的方式。
原创
2024-01-11 10:34:41
54阅读
https://kafka.apache.org/documentation/#topicconfigs
原创
2024-02-26 17:28:57
138阅读
介绍Apache Kafka 是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。注意:Kafka并没有遵循JMS规范（），它只提供了发布和订阅通讯方式
转载
2024-04-12 13:37:36
595阅读
一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。------------------------------------------- 系统 相关 -------------------------------------------
##每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.
转载
2024-09-30 18:40:17
118阅读
1. 基本信息介绍基于spring的kafka应用，非常简单即可搭建起来，前提是要有一个kafka的broker集群。我在之前的博文里面已经介绍并搭建了一套broker环境，参考Kafka研究【一】：bring up环境。另外，要注意的是kafka基于spring框架构建应用，需要注意版本信息，下面是官方要求：Apache Kafka Clients 1.0.0Spring Framework 5
转载
2024-03-31 22:21:53
105阅读
kafka api案例一：生产者的初步使用import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import or
转载
2024-04-12 08:35:56
90阅读
kafka官方0.10版文档学习官方文档kafka中文文档 文章目录kafka官方0.10版文档学习1：入门基础1.1：基础知识1.1.1：kafka的作用1.1.2：基本概念1：controller/master的作用1.1.3：四大核心api1.1.4：主题topic1.1.5：生产者：produce1.1.6：消费者：consumer1.2：kafka性能为什么这么高1.3：部署使用1.4：
转载
2024-03-27 12:07:47
56阅读
Topic-level configuration（主题级别的参数配置） 与主题相关的配置具有全局默认值（参考broker部分）和每个主题可选重写（broker部分有明确提示）。如果主题没有重写这些配置，使用全局默认设置。可以使用--config添加一个或者多个自定义选项。下面这个例子创建了一个名为my-topic的主题，它自定义了最大消息大小和刷新速率: > bin
转载
2024-04-03 07:13:44
149阅读
