字节跳动，青训营社区课程，2h如何使用Kafka一、是什么基本概念Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue）Kafka：分布式时间流平台，用于高性能数据管道、流分析、数据集成、关键任务应用MQ的两种模式（1）点对点模式：producer往MQ写入数据，consumer去MQ中消费，消费完后，给MQ一个状态，MQ根据这个状态delete 消息（2）发布/订阅
转载
2024-03-29 08:51:35
127阅读
前言写这篇文章的起因是由于之前的一篇关于Kafka异常消费，当时为了解决问题不得不使用临时的方案。总结起来归根结底还是对Kafka不熟悉导致的，加上平时工作的需要，之后就花些时间看了Kafka相关的资料。何时使用MQ谈到Kafka就不得不提到MQ，是属于消息队列的一种。作为一种基础中间件在互联网项目中有着大量的使用。一种技术的产生自然是为了解决某种需求，通常来说是以下场景：
转载
2024-03-22 09:51:07
295阅读
1，消息中间件（MQ）关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。功能项Kafka(1.1.0版本)RabbitMQ(3.6.10版本)RocketMQ(4.2.0)单机吞吐量10w级，支持高吞吐万级10w级消息可靠性经过参数优化配置，做到0丢失基本不丢经过参数优化配置，做到0丢失优先级队列不支持支持，
转载
2024-04-01 14:17:27
84阅读
# Kafka 吃透MQ
## 简介
Kafka 是一个高吞吐量的分布式消息队列系统，用于处理大规模的实时数据流。它具有可扩展性强、持久性高、可靠性强等特点，被广泛应用于日志收集、实时流分析、消息系统等场景。
在本文中，我们将深入探讨 Kafka 的原理和使用方式，并通过代码示例展示其基本用法。
## Kafka 的基本概念
在开始之前，我们需要了解 Kafka 的一些基本概念。
##
原创
2024-01-12 21:19:00
28阅读
Why kafka消息队列的作用：异步、削峰填谷、解耦中小型公司，技术实力较为一般，技术挑战不是特别高，用 RabbitMQ （开源、社区活跃）是不错的选择；大型公司，基础架构研发实力较强，用 RocketMQ（Java二次开发） 是很好的选择。如果是大数据领域的实时计算、日志采集等场景，用 Kafka 是业内标准的，绝对没问题，社区活跃度很高，绝
转载
2024-10-17 20:28:12
26阅读
思维导图前言在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。这种数据同步的代码跟业务代码糅合在一起会不太优雅，能不能把这些数据同步的代码抽出来形成一个独立的模块呢，答案是可以的。架构图canal是一个伪装成slave订阅mysql的binlog，实现数据同步的中间件。上一篇文章我已经介绍了最简单的使用方
转载
2024-10-08 11:00:43
31阅读
### 使用MQ和Kafka实现消息传递
#### 1. 流程概述
下面是使用MQ和Kafka实现消息传递的基本流程：
| 步骤 | 操作 |
|------|------|
| 1 | 创建消息队列（MQ） |
| 2 | 发送消息到MQ |
| 3 | 从MQ消费消息 |
| 4 | 将消息发送到Kafka |
| 5 | 从Kafka消费消息 |
####
原创
2024-05-17 14:05:34
114阅读
Message（消息）Message，即消息。人与人之间通过消息传递信息。言语、眼神、肢体动作都可被视为消息体。当然还有我们经常用到的邮件、短信。计算机系统也由消息来主导运行。每一条指令的执行，每一个数据包的传递。软件系统间的合作也不例外，消息告诉各个系统应该怎样协作。事件处理机制，也是消息传送的过程。消息无处不在。消息分为同步消息和异步消息。同步消息在接收到对方的返回前，需要挂起，直到返...
原创
2021-08-06 15:04:38
171阅读
mq是一种常见的中间件，在实践中经常用到，它具有异步、解耦、削峰填谷的作用。
原创
2023-12-28 14:00:06
61阅读
Message（消息）Message，即消息。人与人之间通过消息传递信息。言语、眼神、肢体动作都可被视为消息体。当然还有我们经常用到的邮件、短信。计算机系统也由消息来主导运行。每一条指令的执行，每一个数据包的传递。软件系统间的合作也不例外，消息告诉各个系统应该怎样协作。事件处理机制，也是消息传送的过程。消息无处不在。消息分为同步消息和异步消息。同步消息在接收到对方的返回前，需要挂起，直到返...
原创
2022-03-02 15:18:09
75阅读
Kafka和RabbitMQ的区别:RabbitMQ 有这么个特性，它在官方文档就声明了自己是不保证多线程消费同一个队列的消息，一定保证顺序的。而不保证的原因，是因为多线程时，当一个线程消费消息报错的时候，RabbitMQ 会把消费失败的消息再入队，此时就可能出现乱序的情况。用 RabbitMQ，出现了三个问题：为了实现发布订阅功能，从而使用的消息复制，会降低性能并耗费更多资源多个消费者无法严格保
转载
2024-04-09 15:30:13
118阅读
消息中间件，MQ message queue 一般在比较复杂的软件设计中会引入消息中间件来进行相关功能的支撑，那么消息中间件的作用是什么？一般主流经常使用的kafka和rabbitmq二者有什么区别，在我们项目中何时该使用kafka，何时使用rabbitmq? MQ的原始概念其实可以理解为如下流程： 生产者发送消息到MQ -> MQ保存消息 -> 消费者消费消息 后面各个厂商在这上面扩
转载
2024-04-04 19:20:04
101阅读
目录一、为什么选择Kafka开始？二、Kafka三、Kafka的消息模型 一、为什么选择Kafka开始？MQ的本质就是“一发一存一消费”。 1. Kafka和RocketMQ是目前最热门的两种消息中间件，应用最广泛。 2. 从MQ的历程来看，Kafka比RocketMQ更早诞生，并且阿里团队在实现RocketMQ，充分借鉴了Kafka的设计思想。 3. Kafka其实
转载
2024-03-16 01:00:02
144阅读
本文大概围绕如下几点进行阐述:为什么使用消息队列？ 使用消息队列有什么缺点? 消息队列如何选型? 如何保证消息队列是高可用的？ 如何保证消息不被重复消费? 如何保证消费的可靠性传输? 如何保证消息的顺序性？** 为什么要使用消息队列?**(1)解耦 传统模式: 传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻
转载
2024-06-12 13:50:33
50阅读
Kafka 的工具和编程接口Kafka 的工具Kafka 提供的工具还是比较全的，bin/ 目录下的工具有以下一些，bin/connect-distributed.sh bin/kafka-consumer-offset-checker.sh bin/kafka-replica-verification.sh bin/kafka-verifiable-producer.sh
b
1. 消息队列的作用 消息中间件是日常架构中比较流行的一个中间件。 常用的产品有: ActiveMQ, RabbitMQ, RocketMQ, ZeroMQ等。 那么消息中间件在架构中有哪些作用呢? 总结一下，主要作用如下: 异步处理、应用解耦、流量削峰、日志处理 2. 架构作用详解 a. 异步处理
转载
2021-03-04 11:42:00
417阅读
2评论
一、rabbitmq和kafka区别1、架构rabbitmq遵循AMQP协议，以broker（exchange、binding,queue）为中心，有消息确认机制（confirm）,生产者发消息，broker就返回确认。queue消息推送至消费者。kafka遵循MQ协议，以consumer为中心，批量拉取消息。没有消息确认机制。2、吞吐量kafka高吞吐量，批量处理。rabbitmq支持事务，可靠
转载
2024-02-25 08:28:19
21阅读
一、目录1、MQ基础概念2、Kafka数据存储设计3、Kafka生产者设计4、Kafka消费者设计5、Kafka提交与移位6、Kafka消息保留策略二、MQ概念 MQ 是message queue ,消息队列，也叫消息中间件。消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问
转载
2024-05-28 13:52:31
111阅读
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结 我们知道，在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么，业务中常见的就是Kafka与ActiveMQ。同为消息中间件，二者的区别究竟在哪里，今天我们就做一个简单的对比。。 一、Kafka和ActiveMQ基本对
转载
2024-06-24 08:18:01
89阅读
Redis存储数据类型为list时，是可以当消息队列的。与RabbitMQ的区别如下：1.安全方面：redis不安全，数据完整性不能保证，当消费者下线后，队列中的数据有可能会丢失。而mq不会，mq队列中的数据如果没有被消费，会永久存储在内存中。2.redis发布订阅时，一个队列可以被多个消费者同时订阅，当有消息到来的话，会依次把消息传送给每个订阅者。3.mq：一个队列可以被很多消费者监控，但每个消
转载
2023-06-02 09:22:16
584阅读
