1-docker安装kafka: 安装可以去这个链接docker安装部署kafka2-了解下消息队列（Message Queue)： 2.1 消息队列模式：  
MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。 Kafka是什么？Kafka是一个分布式的消息引擎。具有以下特征能够发布和订阅消息流（类似于消息队列）以容错的、持久的方式存储消息流多分区概念，提高了并行能力 Kafka架构总览Topic&
转载
2024-07-27 15:01:50
84阅读
一、Kafka的基本架构Kafka是一个分布式的基于发布/订阅模式的消息队列，（1）Producer ：消息生产者，就是向kafka broker发消息的客户端； （2）Consumer ：消息消费者，向kafka broker取消息的客户端； （3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消
转载
2024-02-27 22:06:36
427阅读
01、前言发布订阅系统在我们日常的工作中经常会使用到，这种场景大部分情况我们都是使用消息队列的，常用的消息队列有 Kafka，RocketMQ，RabbitMQ，每一种消息队列都有其特性，关于 Kafka 的使用和源码分析，公号前面有相关的文章，大家可以前往回顾一下，另外两款消息队列大家有需要可以自行研究，后续我们会出相应的介绍文章。这篇文章主要是给大家介绍 Redis 的发布订阅系统，很多时候我
转载
2023-09-08 13:58:53
40阅读
文章目录1，消息队列的两种模式点对点模式发布/订阅模式2，kafka的基础架构3，kafka的命令行操作4，kafka的发送过程5，Idea编写kafka6，kafka分区器的优点7，分区的策略主要有三种分区策略8，kafka的可靠传输a，解决重复传输----幂等性b，幂等性的原理c，事务 目前md文件尚未上传到git仓库中，如果需要md文件的可以私信我 kafka中的结构组件是什么Produc
转载
2024-04-02 19:38:14
1002阅读
1、消息中间件作用解耦/异步/削峰2、消息中间件通信模式点对点模式如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。点对点模型的的优点是消费者拉取消息的频率可以由自己控制。但是消息队列是否有消息需要消费，在消费者端无法感知，所以在消费者端需要额外的线程去监控。发布
转载
2024-03-22 08:49:00
162阅读
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。这篇文章简单介绍
参考：深入理解Kafka核心设计和实践原理7、消息的消费：消息的消费一般基于两种模式：push模式和pull模式，即主动推模式和主动拉模式。推模式是服务端主动将消息推送给消费者，拉模式是消费者主动从服务端发起请求来拉取消息。// 轮询拉取消息之前必须订阅topic 否则会报错。
@Override
public ConsumerRecords<K, V> poll(long timeo
转载
2024-03-18 08:17:45
114阅读
发布订阅模式和观察者模式有什么区别观察者模式中，观察者和主题都知道对方的存在；而在发布与订阅模式中，生产者与消费者不知道对方的存在，它们之间通过频道进行通信。 观察者模式是同步的，当事件触发时，主题会调用观察者的方法，然后等待方法返回；而发布与订阅模式是异步的，生产者向频道发送一个消息之后，就不需要关心消费者何时去订阅这个消息，可以立即返回。kafka的基本组件为什么 Kafka 不像 MySQL
转载
2024-06-02 22:59:23
22阅读
1. Kafka定义传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息最新定义：kafka是一个开源的分布式事件流平台，被多家公司用于高性能、流分析、数据集成和关键任务应用2. 传统消息队列应用场景缓存/消峰 有助于控制和优化数据流经系统的速度，解决生产者和消费者处理速度不
转载
2024-03-21 10:47:53
31阅读
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”大规模发布/订阅模式是生产者生产的消息可以多个消费者（订阅者）消费该消息，这里面又有两种模式：消费者主动拉取消息和消息主动推送。相对于大规模发布/订阅模式，还有点对点模式，
转载
2024-03-26 10:49:09
43阅读
发布消息通常有两种模式：consumers可以同时从服务端读取消息，每个消息只被其中一个consumer读到发布-订阅模式(publish-subscribe):消息被广播到所有的consumer中，但这里订阅者是个组而不是单个consumer。kafka消费消息机制：consumer group 内的一个 consumer 所消费，且 consumer 消费消息时不关注 offset，
转载
2023-08-27 21:49:35
0阅读
一.说到Kafka之前，我们首先了解消息系统（又称消息队列）是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用，其主要有两种模式：队列模式（又称点对点模式）：多个消费者读取消息队列，每条消息只发送给一个消费者。发布/订阅模式：多个消费者订阅主题，主题的每条记录会发送给所有的消费者。 二.Apache Kafka是一个分布式的、基于发布/订阅的消息系统，其由Scala语言
转载
2024-03-19 02:13:07
56阅读
文章目录Apache Kafka各组件概念总结Producer（生产者）Topic（主题）Partition（分区）Partition的副本数SegmentPartition的offsetkafka分区与消费组的关系ConsumerKafka工作流程图topic结构图至少看两遍那个视频的总结再来一遍，这14个都要背（1个1分）： Apache Kafka各组件概念总结开始之前先看两个架构图：下面
转载
2024-03-16 13:08:14
113阅读
目录一. KafKa概述1.1 什么是kfk1.2 消息队列的两种模式1.3 kfk的架构二. kfk入门2.1 安装部署kfk2.2 kfk的命令行操作2.2.1 命令行操作topic2.2.2 命令行测试生产者消费者2.2.3 kafka-topics.sh --describe 显示结果解释2.2.4 kfk常用命令2.3 kfk的日志和数据分目录存放三. kfk架构深入 一. KafKa
转载
2024-02-12 21:34:25
156阅读
发布-订阅消息系统在任何企业体系结构中都起着重要作用，因为它可以实现可靠的集成而无需紧密耦合应用程序。 在解耦的系统之间共享数据的能力并不是一个容易解决的问题。 考虑一个企业，其中具有使用不同语言和平台独立构建的多个应用程序。 它需要以响应方式共享数据和流程。 我们可以使用Messaging通过使用可自定义的格式频繁，立即，可靠且异步地传输数据包来实现此目的。 从根本上说，异步消息传递是对
转载
2024-08-03 13:48:35
38阅读
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（pa
转载
2024-08-07 10:58:34
16阅读
公众号分类 1. 订阅号（个人）2 服务号（公司-工商营业执照、个体户-工商营业执照）3 企业号（公司-工商营业执照） 注册公众平台账号1 个人只能注册订阅号 ：https://mp.weixin.qq.com2 订阅号 服务号 企业号 三者能使用的功能不相同3 注册的账号需要跟微信号绑定（微信号需要绑定银行卡）https://mp.weixin.qq.com/c
目录1. 消费者与消费组2. 一个完整的消费逻辑3. 参数配置3.1 四个必配参数3.2 反序列化器（必配）3.3 拦截器（非必配）4. 创建消费者实例5. 订阅主题与分区5.1 订阅5.2 取消订阅6. 拉取消息并消费7. 提交消费位移8. 关闭资源1. 消费者与消费组消费者：并非逻辑概念，它是实际的应用实例，它可以是一个线程，也可以是一个进程。同一个消费组内的消费者既可以部署在同一台机器上，也
转载
2023-11-08 16:24:37
262阅读
目录一、Kafka定义二、消息队列2.1、传统消息队列的应用场景2.2、消息队列的两种模式2.2.1、点对点模式2.2.2、发布/ 订阅模式三、Kafka 基础架构 一、Kafka定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Stre
转载
2023-11-19 08:12:44
80阅读
