4-1 -课程目录 分布式消息队列KafkaKafka概述 Kafka架构及核心概念 Kafka部署及使用 Kafka容错性测试 Kafka API编程 Kafka实战4
转载
2024-07-18 17:22:45
41阅读
kafka在大数据、分布式架构中都很流行。kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。kafka作为消息队列的优点：分布式的系统高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。数据保留在磁盘上，因此它是持久的。一、pull模式消息队列有push模式和pull模式。push模式是消息队列推送给消息消费者，pull模式是消息消费者从消息队列中拉取。二、发布 - 订阅消息
转载
2023-10-11 07:23:10
197阅读
kafka一、概述1、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。2、消息队列1.点对点模式一对一，消费者主动拉取数据，消息收到后消息清除.消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue
转载
2024-02-14 10:32:36
135阅读
之前学习过kafka，但在项目中用的时候，发现还有一些点特别需要注意，这里全部总结一下：1、Kafka是一个【消息订阅-发布系统】 由消息生产者（Producer）和消息消费者（Consumer）组成，Producer将消息推送（Push）到Kafka集群，Consumer从Kafka集群
转载
2024-04-25 12:21:47
217阅读
在介绍Kafka之前，我们先介绍发布与订阅消息系统的概念。发布与订阅消息系统数据（消息）的发送者（发布者）不会直接把消息发送给接收者，这是发布与订阅消息的一个特点。发布者以某种方式对消息进行分类，接收者（订阅者）订阅他们，以便接收特定的消息类型。发布与订阅消息一般会有一个broker，也就是发布消息的中心点。 Kafka毫无疑问，Kafka也是一款基于发布与订阅消息的消息系统
转载
2023-11-07 11:37:24
177阅读
1.基本概念1.1Kafka是什么Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。1.2消息队列应用场景传统消息队列有三大应用场景：异步处理 流量消峰 解耦1.3消息队列两种模式消息队列两种模式：点对点模式和发布/订阅模式。点对点模式点对点模式中生产者和消费者一对一，消费者收到消息后，这条消息就会删除。注意：一个MQ可以有很多生产者消费者
转载
2024-03-26 13:24:15
124阅读
什么是发布订阅消息系统 数据（消息）的发送者（发布者）不会直接把消息发送给接受者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者（订阅者）订阅他们，一遍接收特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点。什么kafka Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以
转载
2023-09-27 19:33:15
218阅读
kafka概述1.1 kafak定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka 最新定义： Kafka 是一个开源的分布式事件流平台（ Event Streaming Platfor
转载
2023-12-17 10:07:35
102阅读
本文与前文是有关联的，之前的两篇文章客官可以抬腿出门右转，elk 导读, 实战一kafka的配置安装：#kafka 和zookeeper 都依赖java ，机器上必须安装java，具体安装方法和效验方法，请各位客官抬腿向上看！#下载安装包：同样放到/opt/elk/ 的目录里边：wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.1/
转载
2024-08-07 08:55:44
98阅读
写在前面：消息订阅与推送都通过nsq的tcp服务实现。关于消息的推送最重要的是两个文件：nsqd/protocol_v2.go和nsqd/client_v2.go。当一个客户端与nsqd进程建立了一个tcp连接时，会调用protocolV2.IOLoop方法，并新建一个clientV2结构体对象。IOLoop方法会启动一个协程执行messagePump方法。并且对于每一个tcp连接，都会有两个协程
转载
2023-07-30 15:55:22
29阅读
一、kafka概述Kafka传统定义：分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。发布/订阅：发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：分布式事件流平台（Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。二、消息队列 &
转载
2024-01-20 02:05:32
34阅读
RabbitMQ简介 消息 (Message) 是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串、 JSON 等，也可以很复杂，比如内嵌对象。 消息队列中间件 (Message Queue Middleware，简称为 MQ) 是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程
转载
2024-05-06 14:47:23
77阅读
写在最前面，先简单讲解一些kafka的概念：一、概念1.1 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Brokerkafka集群包含一个或者多个服务器，这种服务器被称为brokerTopic每条发布到kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个b
转载
2024-04-17 18:03:11
148阅读
一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。几种分布式系统消息系统的对比：二、Kafka基本架构它的架构包括以下
转载
2024-03-14 06:59:41
137阅读
专业词汇：Producer(生产者)：发布消息的对象Consumer（消费者）：订阅并处理消息的对象Consumer group（消费者组）： 每个 consumer 都属于一个 consumer group注：每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。Broker（代理）：kafka cluster（Kafk
## Redis订阅和发布 消息推送的实现
### 1. 概述
在本文中，我将介绍如何使用Redis实现订阅和发布消息推送功能。这个功能在很多应用场景中都很常见，比如实时聊天、实时数据更新等。
### 2. 实现流程
下面是整个实现过程的流程图：
```flowchart
st=>start: 开始
op1=>operation: 创建Redis连接
op2=>operation: 订阅
原创
2023-08-11 14:32:03
406阅读
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（pa
转载
2024-08-07 10:58:34
16阅读
Redis(Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。(学习视频分享：redis视频教程)1.redis发布订阅模式Redis除了提供像list的这种的消息队列模式，还提供了一组命令实现发布/订阅模式。例如微博，公众号等都是可以由此实现。1.2
转载
2023-11-28 14:25:22
83阅读
一.说到Kafka之前，我们首先了解消息系统（又称消息队列）是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用，其主要有两种模式：队列模式（又称点对点模式）：多个消费者读取消息队列，每条消息只发送给一个消费者。发布/订阅模式：多个消费者订阅主题，主题的每条记录会发送给所有的消费者。 二.Apache Kafka是一个分布式的、基于发布/订阅的消息系统，其由Scala语言
转载
2024-03-19 02:13:07
56阅读
一、为什么要用Kafka ？ 首先，Kafka 是什么呢？用一句话概括一下：Apache Kafka 是一款开源的消息引擎系统。 根据维基百科的定义，消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义
转载
2024-10-25 20:07:24
47阅读
