作者：故事凌1. kafka概述##1.1 kafka简介Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性，非常适合大规模消息处理应用程序
设计初衷Kafka的设计初衷是为了满足高吞吐量、可持久化、可扩展和可靠性的分布式发布/订阅消息系统的需求。以下是一些Kafka的设计初衷：高吞吐量Kafka旨在处理大规模数据流和实时流式处理场景下的高吞吐量需求。它采用了分区和并行处理的机制，使得多个消费者可以同时消费不同的分区，实现了高度的并发性和扩展性。可持久化Kafka将消息持久化到磁盘中，允许消息在被消费之后仍然保留一段时间。这种特性使得K
前言最新项目中要用到消息队列来做消息的传输，之所以选着 Kafka 是因为要配合其他 java 项目中，所以就对 Kafka 了解了一下，也算是做个笔记吧。本篇不谈论 Kafka 和其他的一些消息队列的区别，包括性能及其使用方式。简介Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。一些名词如果要使
转载
2024-07-04 16:23:58
45阅读
RabbitMQ基本模式
1.基本模型
2.RabbitMQ应用场景
MQ全称为Message Queue，即消息队列， RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开发中应用非常广泛。
转载
2024-03-19 00:01:20
107阅读
Kafka 监控运维工具：Kafka-eagle使用背景在开发工作中，消费在Kafka集群中消息，数据变化是我们关注的问题，当业务前提不复杂时，我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和 Topic，那么我们使用Kafka提供命令工具，已经感到无能为力，那么Kafka监控系统目前尤为重要，我们需要观察 消费者应
转载
2024-05-09 12:41:45
29阅读
在企业实际应用中，如果业务比较复杂，那么管理的 Consumer Group 和 Topic 数也会随之增加，此时如果再使用 Kafka 提供的命令行工具，可能会出现力不从心的感觉。因此，我们需要一款更加智能的 Kafka 监控系统，目前企业使用比较多的有 Kafka Manager、Kafka Eagle 等。Kafka Eagle 介绍由于 Kafka Eagle 比 Kafka Manage
转载
2023-12-29 20:06:49
93阅读
在我看来队列服务器是最简单的一种组件了。因为队列给我们下手的机会实在是并不多。我们只是用它，如果想改变它就只能去改代码，其他的都只是配置问题。在当前的市场中，Kafka 算是用得非常火的一个队列服务器了，所以今天，选择它来做一些解读。虽然在前面一直在强调分析的思路，但在这一篇中，打算换个思路，不是像以前那样，直接给一个结论型的思维导图，而是一起来分析一个组件，让我们看看从哪里下手，来观察一个被分析
转载
2024-07-10 16:55:24
68阅读
通过简单的python脚本，获取指定group的队列长度
原创
2020-09-20 11:27:22
2726阅读
1. Kafka 简介Kafka 是一个高吞吐量、低延迟分布式的消息队列系统。kafka 每秒可以处理几十万条消息，它的延迟最低只有几毫秒。Kafka 也是一个高度可扩展的消息系统，它在LinkedIn 的中央数据管道总扮演着十分重要的角色。1.1 Kafka 的主要设计目标Kafka 作为一种分布式的、基于发布/订阅的消息系统，其主要设计目标如下：以时间复杂度为O（1）的方式提供消息持久能力，即
转载
2024-03-18 08:19:12
77阅读
1.MQ的组件：生产者：消息提供者消费者：消息使用者MQ服务器：管理队列、消息及相关信息消息：程序间通讯的数据队列：消息存放的容器，消息是先进先出的交换机：用于分发消息2.RabbitMQ工作模式2.1 简单模式无交换机参与。实际工作中几乎用不到。生产者通过MQ将消息放入队列，队列发送给消费者。2.2 工作队列类似负载均衡。在多个消息的情况下，工作队列模式会将消息分发给不同的消费者，每个消费者会收
转载
2023-12-21 05:55:30
89阅读
目录什么是Kafka？消息队列原理：为什么要用Kafka？kafka的架构kafka工作流程详解：什么是Kafka？kafka是一个分布式消息队列这个定义意味深长，记住容易，理解不易。首先我们得先知道什么是消息系统，他的原理是什么。消息队列原理：关于分布式，我在下面的这篇文章中有所探讨：这里客户端A负责生产数据，也被称作是生产者，生产完数据之后，放入到消息队列中，然后客户端B作为消费者去消费数据，
转载
2024-03-21 09:08:11
35阅读
一、概述
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群
转载
2024-08-06 18:39:35
56阅读
一. 请求（Request）先看一下 RequestChannel 源码中的 Request 定义代码。源码位于 core/src/main/scala/kafka/network ，RequestChannel.scala 文件，是主要实现类。sealed trait BaseRequest
case object ShutdownRequest ext
该文虽然以rocketMQ为例子来讨论如何解决分布式事务，但是它的思路却不仅仅局限于rocketMQ，可以推广到别的ｍｑ上面去。故把该文转帖如下说到分布式事务，就会谈到那个经典的”账号转账”问题：2个账号，分布处于2个不同的DB，或者说2个不同的子系统里面，A要扣钱，B要加钱，如何保证原子性？一般的思路都是通过消息中间件来实现“最终一致性”：A系统扣钱，然后发条消息给中间件，B系统接收此消息，进
转载
2024-10-17 10:07:28
100阅读
RabbitMQ消息队列（四）-服务详细配置与日常监控管理RabbitMQ服务管理启动服务：rabbitmq-server -detached【 /usr/local/rabbitmq/sbin/rabbitmq-server -detached 】
查看状态：rabbitmqctl status
关闭服务：rabbitmqctl stop
列出角色：rabbitmqctl list_users
转载
2024-06-11 03:24:17
640阅读
Kafka简介及Kafka部署、原理和使用介绍Kafka简介定义Kafka是一种消息队列，是一个分布式的基于发布/订阅模式的，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有消息队列的相应的特性了。消息队列的两种模式点对点模式一对一，消费者主动拉取数据，消息收到后消息清除 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消
转载
2024-05-15 11:11:43
34阅读
第一章 Kafka概述1.1 定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式点对点模式：一对一，消费者主动拉取数据，消息收到后消息清除。消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并
转载
2024-06-18 22:46:40
18阅读
背景假设你意气风发，要开发新一代的互联网应用，以期在互联网事业中一展宏图。借助云计算，很容易开发出如下原型系统：Web应用：部署在云服务器上，为个人电脑或者移动用户提供的访问体验。SQL数据库：为Web应用提供数据持久化以及数据查询。这套架构简洁而高效，很快便能够部署到百度云等云计算平台，以便快速推向市场。互联网不就是讲究小步快跑嘛！好景不长。随着用户的迅速增长，所有的访问都直接通过SQL数据库使
转载
2024-07-18 10:01:36
67阅读
一 主题操作1. 查看主题./kafka-topics.sh --bootstrap-server Kafka集群连接地址 --listliujian@liujiandeMacBook-Pro bin % ./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
SimpTopicTest
__consumer_offsets
liu
转载
2024-02-20 13:54:13
1074阅读
MQ基本概念1. MQ概述MQ全称 Message Queue（[kjuː]）（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。（队列是一种容器，用于存放数据的都是容器，存放消息的就是消息队列）分布式系统的调用：方式一：直接调用orderproductaccount方式二：间接调用A将数据存放到中间一个系统，通过中间的系统发送到B中间系统可以成为中间件MQ生产者-》中
转载
2024-10-08 18:07:50
72阅读
