文章目录一、前言1.为什么引入MQ？2.哪些场景需要MQ？3.使用MQ需要注意哪些？二、Kafka概述与日志存储结构1.Kafka名词解释：2.Kafka特性：3.Kafka日志存储：3.1 Partition的数据文件3.2 数据文件的分段3.3 数据文件的索引3.4 偏移量索引3.6 时间戳索引三、结语 一、前言本系列是Kafka基本知识与原理解读，不涉及源码的翻译与解释，可以全面了解Kaf
转载
2024-08-07 10:17:54
158阅读
Kafka概述为什么要使用Kafka削峰：在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。 如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列 能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。解耦和扩展性：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。缓冲：有助于控制和优化数据流经过系统的速
转载
2024-03-27 09:59:45
395阅读
消息队列的作用：解耦，削峰，异步，顺序性（在一定程度上保证）。解偶快递员可以选择自己的时间，把快递放到柜子里，不需要关心小明是否在家。小明也不需要一直等待给快递员开门，两个人解耦了。异步快递员把快递放到柜子里发个信息就可以去送下一件，不需同步等待结果。削峰到了双十一，小明一天要到100个快递，由于小明一天只能消化10个快递，剩下的就放在了柜子里，等10天后才拿完。Kafka架构总览kafka如何支
转载
2024-03-21 10:53:10
266阅读
1. kafka介绍 1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发
1、消息队列解决削峰要对流量进行削峰，最容易想到的解决方案就是用消息队列来缓冲瞬时流量，把同步的直接调用转换成异步的间接推送，中间通过一个队列在一端承接瞬时的流量洪峰，在另一端平滑地将消息推送出去。消息队列中间件主要解决应用耦合，异步消息， 流量削锋等问题。常用消息队列系统：目前在生产环境，使用较多的消息队列有 ActiveMQ、RabbitMQ、 ZeroMQ、Kafka、MetaM
转载
2024-07-02 21:29:31
312阅读
使用RocketMQ、RabbitMQ、Kafka的延时消息，消息在发送到消息队列服务端后并不会立马投递，而是根据消息中的属性延迟固定时间后才投递给消费者。目录为什么使用消息队列？解耦异步削峰消息队列有什么优点和缺点？优点：解耦、异步、削峰缺点： （1）系统可用性降低 （2）系统复杂性提高 &
转载
2024-08-12 11:32:37
66阅读
之前很泛的介绍了消息队列常见的问题，本篇聚焦到 Kafka，记录 Kafka 相关知识：Kafka 是一款分布式发布/订阅消息系统，也就是常说的消息队列。目前市面上绝大多数业务系统使用消息队列的主要原因如下：解耦：当下游系统需要当前系统数据时，无需通过 RPC 或 HTTP 接口的方式传递，直接发送 MQ，下游需要时直接从队列消费即可削峰：对于突发性的流量，通过消息队列将请求先保存在队列，之后从队
转载
2024-03-25 21:11:22
324阅读
一、Kafka是什么？Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说： kafka就是一个存储系统，存储的数据形式为“消息”；它的主要作用类似于蓄水池，起到一个缓冲作用；二、为什么拥有解耦、异步、削峰？(1)解耦传统模式: 传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如
转载
2024-04-11 07:02:41
83阅读
一、闲话这是2023年的第一篇博客，祝大家在新的一年里一帆风顺，身体健康二、基本要点1、Kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要用于大数据实时处理领域2、消息队列的好处解耦：利用消息队列，可以将相应的消息发送到消息队列，这样的话，如果调用的接口出了问题，将不会影响到当前的功能流量削峰：高流量的时候，使用消息队列作为中间件可以将流量的高
前两天和一个哥们讨论了一下kafka的性能问题，感觉现在要想干实时项目，还得把kafka捡起来好好学一遍，今天就简单来说一说自己对于kafka的一点了解，也是让自己再重新复习一遍，希望能对各位有所帮助 kafka在业务场景中最重要的功能其实主要就是两个方面：削峰和异步通讯，当然什么解耦呀，减少冗余啊，业务代码的健壮性啊，也是有的，可是生产环境中，主要看的还是削峰和异步通讯
转载
2024-05-12 10:51:03
104阅读
常见情况下，信息直接怼到信息处理系统中，信息量小的时候能够较快的处理、信息量较大的时候将会导致系统的崩溃。 在中间加入kafka后，kafka能够有效的应对高数据吞吐量的工作，进行数据的削峰，缺点可能会导致部分数据处理的延时。 2、kafka应用环境
对于kafka的常见应用环境，主要有削峰、解耦等常见功能：2.1 削峰：举个例子来说，双十一十二点大家一起抢购东西，由于同一时间点击购
转载
2024-04-22 15:32:06
96阅读
如何保证Kafka不丢失消息
引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相互依赖，利用 MQ 消息队列可以隔离上下游环境变化带来的不稳定因素。 流量控制： 超高并发场景中，引入 MQ 可以实现流量 “削峰填谷” 的作用以及服务异步处理，不至于打崩服务。&
转载
2024-03-22 10:53:53
159阅读
为什么要用kafka? 1.流量削峰：在秒杀或抢购活动中，一般会因为流量暴增，应用因处理不过来而挂掉，此时一般会引入消息队列，这样流量会先进入消息队列，我们的应用再根据自己的实际处理能力来消费这些消息，从而达到缓解流量暴增对系统构成的压力。 2.应用解耦：在系统交互时，有时我们很难一次性就设计出非常完善的接口，可能会随着业务发展，这些交互接口也会不断的变迁，如果我们的系统较多，系统间交互也较多，维
转载
2024-04-13 09:17:09
93阅读
文章目录消息队列的优点消息队列的两种模式点对点模式发布/订阅模式Kafka基本架构 消息队列的优点异步解耦允许你独立扩展或者修改两边的处理过程，只要确保它们遵守同样的约束即可可恢复性
系统一部分组件失效时，不会影响整个系统。消息队列降低了进程之间的耦合性，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理缓冲
有助于控制和优化数据流经过系统的速度，解决生产消息
转载
2024-06-24 08:15:09
87阅读
一、Kafka介绍介绍 • Kafka是由LinkedIn开发的一个分布式的消息系统，最初是用作LinkedIn的活动流（Activity Stream）和运营数据处理的基础。 • 活动流数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。 • 运营数据指的是服务器的性能
转载
2024-07-15 13:26:15
16阅读
# Kafka Java 实现消息削峰
## 什么是消息削峰
在实际生产环境中，当系统遇到突发流量或高峰期时，可能会导致系统负载过高，甚至出现系统宕机的情况。为了缓解这种情况，可以使用消息削峰机制来控制系统的流量，保证系统稳定运行。
消息削峰即通过限制每个时间段内可以处理的消息数量，以避免系统过载的情况发生。在Kafka中，可以通过消费者的速率来控制消息的消费速度，从而实现消息削峰。
##
原创
2024-05-26 03:32:38
28阅读
kafka简单学习记录什么是kafkakafka应用环境kafka名词· 概念解释kafka集群原理及示例kafka的信息传递过程消费者（consumer）信息传递方式 什么是kafka关于kafka的介绍就不详细叙述了，Kafka 是一种分布式的发布-订阅消息系统，
具有一些高数据吞吐量等各种优点，总结的概括一下kafka可以理解为一种消息处理系统。
日常情况下，对于服务器来说，需要连续不
转载
2024-05-29 16:18:56
126阅读
Winter is coming Kafka概述定义传统消息队列的应用场景使用消息队列的好处1）解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。 3）缓冲 有助于控制和优化数据流经过系统的速度，
大家好，我叫谢伟，是一名程序员。今天的主题：kafka 使用指南，单节点版本。1. 使用场景如果你是一名后端工程师，设计的应用正常的线上运行，某次秒杀活动，突然间把系统搞崩了，排查系统发现很多的流量没有处理，导致系统挂了，这个时候有两种思路： 1. nginx 反向代理，把更多的请求转发给内部网络的服务器上进行处理，达到一个负载均衡的目的 2. 使用消息系统，将更多的请求使用中间件“缓存”起来，再
转载
2024-03-15 19:52:57
82阅读
高吞吐的目录1、基础理论1.1、什么是消息队列1.2、消息队列的两种模式1.3、高可用原理2、Kafka概述3、主题和分区4、数据存储原理5、Kafka读写如何高效？6、生产数据的可靠性6.1、应答机制6.2、领导候选6.3、数据一致性6.4、容错机制附录 1、基础理论1.1、什么是消息队列Message Queue消息的传输过程中保存消息的容器应用场景：程序解耦、异步消息、流量削锋…1.2、消
转载
2024-07-12 02:15:31
20阅读
