Apache Kafka一、消息队列分类1.1 点对点消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并消费消息 注意： 1.消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息 2.Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费1.2 发布/订阅消息生产者（发布）
原创
2017-06-14 15:53:41
3518阅读
Kafka学习笔记 一、Windows下配置kafka环境 1.下载 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.12-2.8.0.tgz 如果在windows下kafka出现问题，将kafka目录中的kafka-l ...
转载
2021-08-02 19:16:00
131阅读
Kafka学习笔记 - 巨轮的个人页面 - OSCHINA - 中文开源技术交流社区 教学视频 本文用到的源码 Kafka学习资料 链接：https://pan.baidu.com/s/1oHYCvHZ4Uanll1Bj3v-3Hw 提取码：5afq Kafka官网主页 Kafka官方文档
转载
2022-06-13 11:47:11
82阅读
关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的
转载
2023-04-26 00:52:46
57阅读
KafKa安装：kafka下载地址：http://kafka.apache.org/downloads.html解压命令：tar zxvf kafka_2.10-0.9.0.1.tg
原创
2022-05-17 15:23:35
100阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2021-12-23 13:37:14
789阅读
安装扩展 # 先安装rdkfka库文件 git clone https://github.com/edenhill/librdkafka.git 或者： wget https://gitee.com/wanhedigital_1553363148/librdkafka/attach_files/61
原创
2022-01-18 09:44:45
644阅读
官方文档： http://www.kafka-eagle.org/articles/docs/installation/linux-macos.html 下载Kafka Eagle https://link.zhihu.com/?target=http%3A//download.smartloli.
原创
2022-01-18 11:18:46
861阅读
1. 架构图 一个Kafka集群中包含若干个Broker(消息实例)，Kafka支持Broker横向扩展，Broker越多，吞吐量越大，同时也包含了若干个Producer(可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等）和若干个Consumer(消费者)以及一
转载
2021-08-05 00:02:40
335阅读
kafka的类型 目前 有 3 种 Kafka 可供选择： Apache Kafka 一般日常提到的 Kafka 都指的是 Apache Kafka，这是最“正宗”的 Kafka，也称为 社区版 Kafka。 Confluent Kafka，Confluent 公司是 Kafka 的 3 个创始人
原创
2021-12-23 13:36:58
361阅读
1. Pull vs Push Producer主动的通过push将消息发布到Broker上，Consumer通过Pull的的方式从Broker消息消息。 通过Push的方式由于是一有消息就推到Broker,所以极大的保证了消息实时性，但是在某些情况下，可能由于Consumer网络，或是其他原因倒是
转载
2021-08-05 00:02:33
342阅读
Flink的kafka connector文档 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/kafka.html Flink写入kafka时候需要实现序列化和反序列化 部分代码参考了 h
转载
2020-03-15 15:23:00
894阅读
2评论
官网地址:https://kafka.apache.org/一、认识kafka1、认识kafkaApache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同，Kafka Streaming计算是运
原创
精选
2023-05-11 10:53:32
346阅读
1，由cdh安装的kafka的默认存储路径如图所示在/var/local/kafka/data，一般会进行修改 kafka配置参考：apache kafka系列之server.properties配置文件参数说明 路径下文件如下 如果是多个路径的话，使用,进行分隔，比如/data01/kafka/d
转载
2020-07-19 16:57:00
515阅读
2评论
参考kafka官方文档，版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖，选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache
转载
2016-03-13 18:14:00
277阅读
2评论
概念定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息列队传统消息列队应用场景使用消息列队的好处：1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢
原创
精选
2023-02-28 11:55:45
421阅读
消息队列：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可...
原创
2022-01-13 09:54:23
374阅读
官网地址:https://kafka.apache.org
原创
2023-05-11 11:15:43
191阅读
