在0 . 10版本之前， Kafka仅仅作为一个消息系统，主要用来解决应用解祸 、 异步消息 、 流量削峰等问题。 不过在0 .10版本之后， Kafka提供了连接器与流处理的能力，它也从分布式的消息系统逐渐成为一个流式的数据平台 。1.1 流式数据平台特点：消息系统：队列（点对点）和发布订阅存储数据：保证数据的可靠性流处理：流的聚合，连接，转换操作等核心组件：生产者：Producer消费者：Consumer连接器：Connector处理器：Processor1.2 基本概念
原创
2021-06-21 16:05:33
720阅读
在0 . 10版本之前， Kafka仅仅作为一个消息系统，主要用来解决应用解祸 、 异步消息 、 流量削峰等问题。 不过在0 .10版本之后， Kafka提供了连接器与流处理的能力，它也从分布式的消息系统逐渐成为一个流式的数据平台 。1.1 流式数据平台特点：消息系统：队列（点对点）和发布订阅存储数据：保证数据的可靠性流处理：流的聚合，连接，转换操作等核心组件：生产者：Producer消费者：Consumer连接器：Connector处理器：Processor1.2 基本概念
原创
2022-01-07 16:54:53
363阅读
Apache Kafka一、消息队列分类1.1 点对点消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并消费消息 注意： 1.消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息 2.Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费1.2 发布/订阅消息生产者（发布）
原创
2017-06-14 15:53:41
3518阅读
Kafka学习笔记 一、Windows下配置kafka环境 1.下载 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.12-2.8.0.tgz 如果在windows下kafka出现问题，将kafka目录中的kafka-l ...
转载
2021-08-02 19:16:00
131阅读
Kafka学习笔记 - 巨轮的个人页面 - OSCHINA - 中文开源技术交流社区 教学视频 本文用到的源码 Kafka学习资料 链接：https://pan.baidu.com/s/1oHYCvHZ4Uanll1Bj3v-3Hw 提取码：5afq Kafka官网主页 Kafka官方文档
转载
2022-06-13 11:47:11
82阅读
关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的
转载
2023-04-26 00:52:46
57阅读
KafKa安装：kafka下载地址：http://kafka.apache.org/downloads.html解压命令：tar zxvf kafka_2.10-0.9.0.1.tg
原创
2022-05-17 15:23:35
100阅读
要配置及集群搭建（转）问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.parti...
转载
2022-12-26 17:49:13
96阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2021-12-23 13:37:14
789阅读
安装扩展 # 先安装rdkfka库文件 git clone https://github.com/edenhill/librdkafka.git 或者： wget https://gitee.com/wanhedigital_1553363148/librdkafka/attach_files/61
原创
2022-01-18 09:44:45
644阅读
1、kafka应用场景 基于流数据的发布订阅消息系统、实时流数据的高效异步通信、基于流数据的高可用分布式存储！ 不同的系统之间实时流数据管道; 2、官方一句话概括 kafka是一个分布式流数据平台：可以被用作消息队列，企业级消息系统，具备很强的容错能力;实时处理的能力; 3、kafka的使用 一般都
原创
2021-09-14 11:05:44
45阅读
官方文档： http://www.kafka-eagle.org/articles/docs/installation/linux-macos.html 下载Kafka Eagle https://link.zhihu.com/?target=http%3A//download.smartloli.
原创
2022-01-18 11:18:46
861阅读
一、kafka 架构1.1 拓扑结构如下图：图.11.2 相关概念如图.1中，kafka 相关名词解释如下： 1.producer： 消息生产者，发布消息到 kafka 集群的终端或服务。 2.broker： kafka 集群中包含的服务器。 3.topic： 每条发布到 kafka&n
原创
2017-06-01 16:19:42
631阅读
以下是Kafka第一天的学习笔记：Kafka是什么？Apache Kafka是一个开源的分布式流处理平台，用于构建实时数据管道和流应用程序。它提供了高吞吐量、可扩展、可靠的消息传递，可以处理来自多个源的大量数据。Kafka的核心组件Kafka有四个核心组件：生产者（Producer）、代理（Broker）、消费者（Consumer）和主题（Topic）。生产者负责向Kafka发送消息，代理负责存储
原创
2023-11-07 15:43:32
138阅读
1. 架构图 一个Kafka集群中包含若干个Broker(消息实例)，Kafka支持Broker横向扩展，Broker越多，吞吐量越大，同时也包含了若干个Producer(可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等）和若干个Consumer(消费者)以及一
转载
2021-08-05 00:02:40
335阅读
kafka的类型 目前 有 3 种 Kafka 可供选择： Apache Kafka 一般日常提到的 Kafka 都指的是 Apache Kafka，这是最“正宗”的 Kafka，也称为 社区版 Kafka。 Confluent Kafka，Confluent 公司是 Kafka 的 3 个创始人
原创
2021-12-23 13:36:58
361阅读
1. Pull vs Push Producer主动的通过push将消息发布到Broker上，Consumer通过Pull的的方式从Broker消息消息。 通过Push的方式由于是一有消息就推到Broker,所以极大的保证了消息实时性，但是在某些情况下，可能由于Consumer网络，或是其他原因倒是
转载
2021-08-05 00:02:33
342阅读
