一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外k
转载
2018-06-30 11:11:55
400阅读
1Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。应用场景：解耦异步削峰1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式点对点模式：消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息，消息被消费以后，Queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息，Queue支持
原创
2019-09-20 00:44:54
1324阅读
点赞
索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过...
原创
2022-09-26 13:05:55
98阅读
kafka无疑是当今互联网公司使用最广泛的分布式实时消息流系统，它的高吞吐量，高可靠等特点为并发下的大批量实时请求处理提供了可靠保障。很多同学在项目中都用到过kafka，但是对kafka的设计原理以及处理机制并不是十分清楚。为了知其然知其所以然，本文主要从三个方面介绍kafka，第一，kafka简介以及适用场景，第二，kafka设计原理，三，常见问题及思考。一、kafka简介及适用场景kafka官
原创
2022-07-01 00:55:58
151阅读
消息中间件基本架构消息中间件基本上可以分为三部分：Product 生产者，消
原创
2022-11-04 11:10:26
67阅读
一、Kafka 简介Kafka 创建背景Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量
原创
2024-05-13 16:13:41
69阅读
消息中间件基本架构消息中间件基本上可以分为三部分：Product 生产者，消息的产生方，生产者会将消息发送到消息队列。queue 消息队列，接受并存储生产者的消息。Consumer 消费者，消费消息队列中的消息。消息中间件的作用消息队列的主要作用削峰填谷、异步、解耦。消费消息的两种模式消息消费的两种模式，发布订阅模式和点对点模式：发布订阅模式（一对多）消费者消费完消息后，消息不会被删除，消息会存储
转载
2021-04-22 13:26:26
154阅读
1.1 kafka Kafka最初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布式消息系统，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。
转载
2020-10-20 17:07:00
97阅读
2评论
规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成
转载
2023-04-21 01:07:53
25阅读
该文被密码保护。
原创
2020-09-27 19:06:00
116阅读
笔者使用过kafka处理通知，但是未系统学习kafka，因此认真学习一遍《Kafka核心技术与实战》这门课程。课程作者也是《A
Kafka学习笔记（二）Kafka操作实践Kafka操作实践分区机制和策略建议为啥要分区？分区策略轮询策略随机策略（不推荐）Key-ordering 策略无消息丢失配置Producer端Broker端Consumer端消费者组机制基础定义重平衡（Rebalance）基础定义触发条件问题风险组成员数发生变更导致重平衡优化方法场景1：未能及时发送心跳，导致 Consumer 被“踢出”Group场景
转载
2024-02-20 10:49:22
39阅读
kafka入门(3)-基础操作和基准测试基础操作创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test
# 查看目前Kafka中的
转载
2024-03-21 11:00:59
47阅读
略过下载及安装，值得注意的是，启动kafka之前需要先启动zookeeper，kafka依赖于zookeeper。kafka跟我们所认知的传统消息队列有所不同，它衍生的一些概念比如消费者组，topic，partition等，如果没有kafka的使用经验似乎有点难以理解。配置server.propertiesbroker.id=0：集群唯一idlog.dirs=/usr/local/data/kaf
转载
2024-03-04 05:41:54
38阅读
一、入门1. 简介Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群
转载
精选
2015-03-26 11:26:23
629阅读
Kafka背景Kafka它本质上是一个消息系统，由当时从LinkedIn出来创业的三人小组开发，他们开发出了Apache Kafka实时信息队列技术，该技术致力于为各行各业的公司提供实时数据处理服务解决方案。Kafka为LinkedIn的中枢神经系统，管理从各个应用程序的汇聚，这些数据经过处理后再被分发到其他地方。Kafka不同于传统的企业信息队列系统，它是以近乎实时的方式处理流经一个公司的所有数
原创
2021-05-09 15:36:07
376阅读
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，
原创
2021-07-26 10:54:48
168阅读
什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数 ...
转载
2021-07-12 11:09:00
131阅读
2评论
Kafka设计架构 Kafka由生产者（Producer）、消费者（Consumer）、Broker以及Zookeeper集群组成，Zookeeper负责集群元数据的管理以及控制的选举等操作，Producer将消息发送到Broker， Broker负责将受到的消息存储到磁盘中，而Consumer负责 ...
转载
2021-09-21 23:04:00
82阅读
2评论
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820
原创
2020-05-23 09:39:07
5592阅读
