目录一. KafKa概述1.1 什么是kfk1.2 消息队列的两种模式1.3 kfk的架构二. kfk入门2.1 安装部署kfk2.2 kfk的命令行操作2.2.1 命令行操作topic2.2.2 命令行测试生产者消费者2.2.3 kafka-topics.sh --describe 显示结果解释2.2.4 kfk常用命令2.3 kfk的日志和数据分目录存放三. kfk架构深入 一. KafKa
转载
2024-02-12 21:34:25
156阅读
theme: smartbluehighlight: agate理论1. kafka是什么?Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2. 为什么要使用kafka分布式消息服务器,使用场景无非三种 缓冲和削峰上游数据时有突发流量,下游可能扛不住,
apache kafka 如今，可扩展的发布/订阅消息传递实际上是Apache Kafka的同义词。 无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka始终是分布式流应用程序的坚如磐石，开源，首选。 但是，卡夫卡并不是镇上唯一的游戏。 由Yahoo开发，现在是Apache Software
转载
2024-06-25 17:15:36
0阅读
Win10下kafka简单安装及使用—— MQ定义：是一个分布式的基于发布 / 订阅模式的消息队列，主要应用于大数据实时处理领域优点：解耦；削峰；缓冲（生产大于消费）；灵活性（分布式）两种模式：点对点模式（消费者主动拉取数据，消费者消费数据后清除消息）发布/订阅模式（一对多，消费者消费数据之后不会被清除） 队列自动推送；消费者主动拉取（kafka，需要不断去轮询队列）—— Kafka架构图基本概念
转载
2024-05-22 09:49:44
46阅读
消费者订阅消费者通过 subscribe() 和 assign() 两种方式订阅主题subscribe()
使用 subscribe() 可以订阅一个或多个主题，对于这个方法而言，可以以集合的方式订阅多个主题，也可以以正则表达式的形式订阅特定模式的主题。subscribe 的几个重载方法如下：public void subscribe(Collection<String> topics
转载
2023-10-04 22:51:31
351阅读
目录1. 消费者与消费组2. 一个完整的消费逻辑3. 参数配置3.1 四个必配参数3.2 反序列化器（必配）3.3 拦截器（非必配）4. 创建消费者实例5. 订阅主题与分区5.1 订阅5.2 取消订阅6. 拉取消息并消费7. 提交消费位移8. 关闭资源1. 消费者与消费组消费者：并非逻辑概念，它是实际的应用实例，它可以是一个线程，也可以是一个进程。同一个消费组内的消费者既可以部署在同一台机器上，也
转载
2023-11-08 16:24:37
262阅读
1、zookeeper集群搭建
zookeeper-3.4.6.tar.gz 版本
对zookeeper-3.4.6.tar.gz进行解压缩：tar -zxvf zookeeper-3.4.6.tar.gz。
cd zk/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改
转载
2024-06-05 00:37:01
79阅读
定义是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域简单入门kafka来源于B站：https://www.bilibili.com/video/BV1vx411f7hA 首先了解发布与订阅系统，想象一个公众号 运营公众号的人把文章发布到平台上，阅读者只要订阅相应的公众号，当有新的文章发布的时候阅读者就可以阅读到新的文章了。 这种发布者和阅读者没
转载
2024-03-15 10:46:05
44阅读
一、概述1.定义传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列最新定义：kafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用2.应用场景缓存/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致情况解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束异步通信：允许用户把一个消息放入
转载
2024-05-08 12:57:48
166阅读
一、问题描述因业务需要，需要实现在不停止
kafka 消费者的情况下修改
订阅的主题，在实现这个需求之前先给一个正常的
kafka 的生产消费 demo，个人一直在使用这个模板二、代码模板2.1 pom.xml<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.
转载
2024-01-08 16:27:56
341阅读
发布/订阅模式不同点对点和发布/订阅点对点： 消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意： 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。 发布/订阅 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消
转载
2024-04-20 18:04:34
107阅读
kafka消费模式1.点对点模式：消费者主动拉取消息，消费之后删除数据。2.发布/订阅模式：如果生产者推给消费者，可能会有些消费者消费比较慢，直接爆炸、或者有些消费者消费很快，资源浪费；一般是消费者主动拉取（但是这样要不停的去询问kafka是否有新消息）。Kafka基本架构1.生产者：生产消息给kafka集群。2.kafka集群：消息队列，暂存消息。 borker可以任务是不同的服务器；
转载
2024-04-08 21:54:34
129阅读
Kafka是什么？Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka架构1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订
转载
2024-04-30 18:43:30
53阅读
1. Kafka概述1.1. 消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个
转载
2024-04-20 11:48:27
309阅读
设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
&
转载
2024-08-06 20:19:58
212阅读
1、消息中间件作用解耦/异步/削峰2、消息中间件通信模式点对点模式如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。点对点模型的的优点是消费者拉取消息的频率可以由自己控制。但是消息队列是否有消息需要消费，在消费者端无法感知，所以在消费者端需要额外的线程去监控。发布
转载
2024-03-22 08:49:00
162阅读
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。这篇文章简单介绍
类或对象可以通过事件向其他类或对象通知发生的相关事情。发送（或引发）事件的类称为“发行者”，接收（或处理）事件的类称为“订户”一,使用 Visual Studio IDE 订阅事件如果您想编写引发事件时调用的自定义代码，则可以订阅由其他类发布的事件。例如，可以订阅某个按钮的 click双击要创建的事件，例如 LoadVisual C# 会创建一个空事件处理程序方法，并将其添加到
转载
2023-09-28 23:53:53
0阅读
apple tv 开发 The new Apple TV comes with a ton of features including the ability to manage subscriptions right from your device, which you may find more useful than doing so from iTunes. 新的Ap
转载
2024-01-05 21:17:56
47阅读
参考：深入理解Kafka核心设计和实践原理7、消息的消费：消息的消费一般基于两种模式：push模式和pull模式，即主动推模式和主动拉模式。推模式是服务端主动将消息推送给消费者，拉模式是消费者主动从服务端发起请求来拉取消息。// 轮询拉取消息之前必须订阅topic 否则会报错。
@Override
public ConsumerRecords<K, V> poll(long timeo
转载
2024-03-18 08:17:45
114阅读
