一、入门 1、简介
Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consume
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 rep
转载
2024-08-06 21:06:06
188阅读
# 了解YARN队列名称查看
在Hadoop生态系统中，YARN（Yet Another Resource Negotiator）是一个用于集群资源管理和作业调度的框架。在YARN中，队列是一个非常重要的概念，它用于对作业进行分类和管理，以便更好地利用集群资源。
在本文中，我们将重点介绍如何查看YARN中的队列名称。通过查看队列名称，我们可以了解当前集群中有哪些队列，以及每个队列的资源分配情况
原创
2024-06-30 06:04:18
52阅读
1.删除topic命令 bin/kafka-topics.sh --delete --zookeeper 192.168.242.131:2181 --topic aaa 注：此命令如果要生效，还需在server.properties中添加： delete.topic.enable=true 控制台也会有返回提示信息：
Topic aaa is marked for deleti
转载
2024-03-01 12:40:44
242阅读
# 如何查看 Hadoop YARN 队列名称
Hadoop 是一个开源框架，主要用于大数据的处理与存储，其中 YARN（Yet Another Resource Negotiator）是 Hadoop 的资源管理层。YARN 通过明确地管理所有集群资源，提高了系统的效率。因此，了解 YARN 的队列名称以及如何查看这些队列内容是每一个使用 Hadoop 的开发者和数据分析师需要掌握的技能。
原创
2024-09-13 07:13:47
63阅读
# Java 获取 RabbitMQ 队列名称的实现指南
RabbitMQ 是一个广泛使用的消息代理，今天我们将学习如何在 Java 中获取 RabbitMQ 队列的名称。这个过程可以分为以下几个步骤：
| 步骤 | 描述 |
|------|----------------------------|
| 1 | 添加 RabbitMQ 客户端
Spring Boot实战第一章 入门Spring Boot最重要的四个核心：自动配置：针对很多Spring应用程序常见的应用功能，Spring Boot能自动提供相关配置。起步依赖：告诉Spring Boot需要什么功能，它就能引入需要的库。命令行界面：这是Spring Boot可选特性，借此你只需要写代码就能完成完整的应用程序，无需传统项目构建。Actuator：它让你能够深入运行中的Spri
转载
2024-10-09 16:36:16
30阅读
RabbitMq队列名称的理解队列名称在不同的微服务中，需要定义不同的队列名称，否则接收消息的时候冲突，要么A接收，要么B接收，而不是A,B都接收。队列名称的命令：可以考虑业务线，服务名称，模块名称，功能名称，其他具体含义，最后以queue结尾 //DEMO
@RabbitListener(bindings = {@QueueBinding(value = @Queue(valu
# 使用 Java Kafka 配置 Topic 队列大小的步骤
在消息处理中，Apache Kafka 是一种流行的选择。它允许我们以高吞吐量的方式处理和存储消息。对于新手来说，Kafka 的一些基本概念可能会让人感到困惑，特别是如何配置 Topic 的队列大小。在本篇文章中，我们将通过详细的步骤和代码示例来解决这个问题。
## 流程概述
下面是配置 Kafka Topic 队列大小的整个
1. Kafka全部数据清空kafka全部数据清空的步骤为：停止每台机器上的kafka；删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；删除zookeeper上与kafka相关的znode节点；重启kafka、如果删除topic还在则需要重启zookeeper；这里以192.168.187.20
转载
2023-11-02 06:17:04
357阅读
# 使用Java RabbitMQ获取MQ队列名称
在现代的分布式应用中，消息队列（MQ）用于解耦和异步处理任务。RabbitMQ是一个广泛使用的开源消息代理，支持多种消息传递协议。本文将教会你如何在Java中获取RabbitMQ的队列名称。
## 整体流程
我们将按照以下步骤来实现获取RabbitMQ队列名称的功能。下面是一个简单的表格，展示了整个流程：
| 步骤 | 描述
在一个大型的分布式系统中，消息队列是不可缺少的中间件，能很好的解决异步消息、应用解耦、均衡并发等问题。在.net中，偶然发现一个效率不错、安全可靠、功能齐全的消息组件，忍不住翻译过来，供大家快速预览。注：原作者用windows服务启动消息队列服务，但是本人在win10上测试出错，可自行改成控制台启动消息队列服务，然后用第三方工具注册服务（如：SrvanyUI）正文： 一个新的
文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据 Kafka初级前言关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱、微信、qq都可），我们直接从kafka的学习开始，这是初级阶段，这篇博主主要讲述kafka的命令行操作。1.topic的增删改查创建主题：切换到kafka的相关目录，进行以下命令行操作bin/
转载
2024-03-26 06:54:07
278阅读
作者：Kafka&Tablestore团队前言还在为消息队列使用时，不能高效排查重复和失败的消息而困扰吗？还在为消息队列使用时，无法准确查找消息内容和定位问题而苦恼吗？。。。消息队列 Kafka「检索组件」来帮您～本文对消息队列 Kafka「检索组件」进行详细介绍，首先通过对消息队列使用过程中的痛点问题进行介绍，然后针对痛点问题提出相应的解决办法，并对关键技术技术进行解读，旨在帮助大家对消
转载
2024-08-06 20:56:13
112阅读
目录六类工作队列模式简单队列模式概念maven项目构建生产者生产消息查看当前rabbitmq信息► 运行producer类消费者消费消息► 运行consumer类六类工作队列模式 官网介绍：RabbitMQ Tutorials — RabbitMQ▸ 简单队列模式：一个消息生产者，一个消息消费者，一个队列。也称为点对点模式▸ 工作模式：一个消息生产者，一个交换器，一个消息队列，多个消费者
转载
2024-06-03 14:32:16
204阅读
新建队列新建Queue时有很多参数，都代表什么含义，在这里解释一下：前述：Rabbit版本为3.7.6 ErLang 版本为 21.0.1Name必填项，队列的名字，建议格式可以为多个字段，表示队列中存放的内容，比如task.queueDurability是否需要持久化，有两个选项Durable（长久的）和Transient（临时的）Auto delete是否自动删除，如果选择yes，则消息会被其
转载
2023-10-17 21:39:55
129阅读
问题导读： 1.kafka的消费者组的消费偏移存储，kafka支持两个版本? 2.ConsumerOffsetChecker类的作用是什么？ 3.Kafka如何通过源码实现监控？一，基本思路介绍Kafka作为一个好用的且应用很广泛的消息队
转载
2023-10-22 19:38:44
110阅读
死信队列什么是死信队列一般来说，producer将消息投递到queue中，consumer从queue取出消息进行消费，但某些时候由于特定的原因导致queue中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信(Dead Letter)，所有的死信都会放到死信队列中。“死信”消息会被RabbitMQ进行特殊处理，如果配置了死信队列信息，那么该消息将会被丢进死信队列中，如果没有配置，则
转载
2024-04-09 07:49:07
71阅读
说明官方文档 在创建queue时可以指定很多参数，可以限制队列的大小、消息的死信时间、优先级等等。queue消息条数限制x-max-length 该参数是非负整数值 官方文档 限制加入queue中消息的条数。先进先出原则，超过10条后面的消息会顶替前面的消息。credentials = pika.PlainCredentials(username='mq', password='654321
转载
2024-05-29 09:46:16
75阅读
一、基本概念1. AMQP应用层标准高级消息队列协议。支持不同语言和不同的产品2. 生产者消息的创建者，发送到AMQP的消息中间件3. 消费者连接到AMQP的消息中间件，订阅到队列上，进行消息的消费。分为持续订阅（basicConsumer）和单条订阅(basicGet)说明：持续订阅：只要有消息就不断消费单条订阅：消费过一条消息以后就不再消费了，要想继续消费消息，就得重新订阅到队列上4
