字节跳动，青训营社区课程，2h如何使用Kafka一、是什么基本概念Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue）Kafka：分布式时间流平台，用于高性能数据管道、流分析、数据集成、关键任务应用MQ的两种模式（1）点对点模式：producer往MQ写入数据，consumer去MQ中消费，消费完后，给MQ一个状态，MQ根据这个状态delete 消息（2）发布/订阅
转载
2024-03-29 08:51:35
127阅读
前言写这篇文章的起因是由于之前的一篇关于Kafka异常消费，当时为了解决问题不得不使用临时的方案。总结起来归根结底还是对Kafka不熟悉导致的，加上平时工作的需要，之后就花些时间看了Kafka相关的资料。何时使用MQ谈到Kafka就不得不提到MQ，是属于消息队列的一种。作为一种基础中间件在互联网项目中有着大量的使用。一种技术的产生自然是为了解决某种需求，通常来说是以下场景：
转载
2024-03-22 09:51:07
295阅读
1，消息中间件（MQ）关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。功能项Kafka(1.1.0版本)RabbitMQ(3.6.10版本)RocketMQ(4.2.0)单机吞吐量10w级，支持高吞吐万级10w级消息可靠性经过参数优化配置，做到0丢失基本不丢经过参数优化配置，做到0丢失优先级队列不支持支持，
转载
2024-04-01 14:17:27
84阅读
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结 我们知道，在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么，业务中常见的就是Kafka与ActiveMQ。同为消息中间件，二者的区别究竟在哪里，今天我们就做一个简单的对比。。 一、Kafka和ActiveMQ基本对
转载
2024-06-24 08:18:01
89阅读
Kafka 的工具和编程接口Kafka 的工具Kafka 提供的工具还是比较全的，bin/ 目录下的工具有以下一些，bin/connect-distributed.sh bin/kafka-consumer-offset-checker.sh bin/kafka-replica-verification.sh bin/kafka-verifiable-producer.sh
b
Kafka基本概念 Message 消息，就是要发送的内容，一般包装成一个消息对象。Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 。Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样,Kafka 为每个分区维
转载
2024-04-09 11:39:20
33阅读
Kafka和RabbitMQ的区别:RabbitMQ 有这么个特性，它在官方文档就声明了自己是不保证多线程消费同一个队列的消息，一定保证顺序的。而不保证的原因，是因为多线程时，当一个线程消费消息报错的时候，RabbitMQ 会把消费失败的消息再入队，此时就可能出现乱序的情况。用 RabbitMQ，出现了三个问题：为了实现发布订阅功能，从而使用的消息复制，会降低性能并耗费更多资源多个消费者无法严格保
转载
2024-04-09 15:30:13
118阅读
Kafka 与消息队列（MQ）的区别
对于Kafka与消息队列（MQ）的区别，首先我们需要了解它们各自的特点和用途。Kafka 是一种高吞吐量的分布式发布订阅消息系统，主要用于日志的收集和传输，同时也可以用于事件的处理和消息的通信；而消息队列（MQ）是一种用于消息传递的通用工具，主要用于解耦各个组件之间的通信和保证消息的可靠性传递。
在实际开发中，我们经常会用到 Kafka 和消息队列（如 R
原创
2024-05-06 11:53:23
45阅读
# Kafka和MQ的区别
Kafka和MQ（消息队列）都是用于消息传递的中间件，但它们有一些不同点。在本文中，我将详细介绍Kafka和MQ的区别，以及它们各自的优缺点。
## 流程概述
首先，让我们看一下使用Kafka和MQ时的典型流程。下表列出了使用Kafka和MQ的步骤：
| 步骤 | 使用Kafka | 使用MQ |
|------|----------|-------|
| 1.
原创
2024-05-07 09:45:35
201阅读
在云原生领域，消息队列（Message Queue，简称MQ）和Kafka都是常见的消息中间件，用于实现异步通信、解耦和削峰填谷。虽然它们都属于消息中间件的范畴，但在具体的应用场景和特点上有一些区别。下面将详细介绍MQ与Kafka的区别。
**MQ与Kafka的区别：**
| 特点 | MQ | K
原创
2024-05-06 11:53:08
433阅读
LinkedIn 开发的一个高性能、分布式的消息系统，广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计，
在大部分情况，Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。 Kafka 将消息流按Topic 组织，保存消息的服务器称为Broker，消费者可以订阅一个或者多个Topic。为了均衡负载，一个Topic 的消息又可以划分到多个分区
MQ是什么是一种跨进程的通信机制，用于上下游传递消息什么时候用MQ举个例子：现在有三个任务A、B、CA需要B的结果作为条件；B需要C的结果作为条件；执行的顺序是C - B - A 原来的解决方案：C在18：00执行：B先执行，然后默认C要执行20分钟，但是因为B可能不确定C要执行多久，所以可以预留10分钟额外时间B在18：30执行：B也默认20min能执行完，但是A不知道B20min能不能执行完，
转载
2024-09-18 06:56:08
153阅读
01 为什么从 Kafka 开始？ 《吃透 MQ 系列》之核心基础篇 围绕 MQ 「一发一存一消费」的本质展开，讲解了 MQ 的通用知识，同时系统性地回答了：如何着手设计一个 MQ？从这篇文章开始，我会讲解具体的消息中间件，之所以选择从 Kafka 开始，有 3 点考虑：第一，RocketMQ 和 Kafka 是目前最热门的两种消息中间件，互联网公司应用最为广泛，将
一、语言不同RabbitMQ是由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是采用Scala语言开发，它主要用于处理活跃的流式数据,大数据量的数据处理上二、结构不同RabbitMQ采用AMQP（Advanced Message Queuing Protocol，高级消息队列协议）是一个进程间传递异步消息的网络协议 RabbitMQ的broker
转载
2024-03-22 09:50:05
154阅读
一、目录1、MQ基础概念2、Kafka数据存储设计3、Kafka生产者设计4、Kafka消费者设计5、Kafka提交与移位6、Kafka消息保留策略二、MQ概念 MQ 是message queue ,消息队列，也叫消息中间件。消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问
转载
2024-05-28 13:52:31
111阅读
面试题为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看：第一，你知不知道你们系统里为什么要用消息队列这个东西？ 不少候选人，说自己项目里用了 Redis、MQ，但是其实他并不知道自己为什么要用这个东西。其实说白了，就是为了用而用，或者是别人设计的架构，他从头到尾都没思
0.0 什么是MQ这个部分，需要简单的解答一下，其实MQ就是消息队列，那么本质上，就是一个 FIFO的队列数据结构。因此，早期的使用方法，都是启动一个线程发送消息，写入消息队列，作为消息缓存，然后再启动一个线程消费消息。早期的windows程序（桌面程序）的设计方法。后期，随着分布式微服务的快速发展，消息这个东西变成了组件，变成了中间件，直接分离出来使用了。1.0 为什么需要Kafka其实从需要k
转载
2024-09-14 09:24:33
265阅读
Kafka的生产者（Producer）在发送消息时，可以选择同步（Sync）或异步（Async）的方式。这两种方式在发送消息的机制和性能表现上有显著区别。同步发送（Sync）工作机制：生产者发送一条消息后，会等待Kafka服务器的响应（ACK），收到响应后才会发送下一条消息。这个过程是阻塞的。优点：确保消息被成功写入Kafka，可靠性高。发送失败可以立即感知，便于重试或处理异常。缺点：发送效率低，
作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强， 而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计，而redis的主要场景是内存数据库，作为消息队列来说可靠性太差，而且速度太依赖网络IO，在服务器本机上的速度较快，且容易出现数据堆积的问题，在比较轻量的场合下能够适用。Rabb
转载
2024-04-16 08:17:08
19阅读
文章目录1 概述1.1 先谈http1.2 MQTT特点2 MQTT的基本框架2.1 Broker2.2 MQTT Client3 MQTT协议4 MQTT的几个概念4.1 服务质量（QoS）4.2 遗嘱4.3 安全性5 测试工具MQTT.fx6 Paho库和mosquitto库6.1 paho6.2 mosquitto 其实在桦桦看来MQTT和现在的微博，抖音是一样的，你订阅了哪个博主，或者网
转载
2024-04-09 11:39:28
106阅读
