文章目录1.前言2.秒杀业务分析3.解决方案3.1 拦截部分请求3.2 引入缓存3.3 超卖问题4.秒杀逻辑简单实现及优化4.1 项目搭建4.2 秒杀代码4.2.1 创建实体类4.2.2 创建dao4.2.3 业务逻辑层4.2.4 秒杀接口4.2.4.1 数据库层面处理超卖问题4.2.4.2 加锁4.2.5 秒杀接口优化4.2.6 用户不能重复秒杀问题4.2.7 秒杀接口订单异步处理优化5.总结
转载
2024-06-02 22:26:18
119阅读
kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。 producer产生和推送(p
转载
2024-04-05 10:28:58
56阅读
文章目录推拉模式推模式好处缺点拉模式好处缺点推还是拉Kafka中的长轮询总结 推拉模式1> 首先明确一下推拉模式到底是在讨论消息队列的哪一个步骤，一般而言我们在谈论推拉模式的时候指的是 Comsumer 和 Broker 之间的交互。2> 默认的认为 Producer 与 Broker 之间就是推的方式，即 Producer 将消息推送给 Broker，而不是 Broker 主动去拉
转载
2024-03-15 11:59:21
47阅读
max.block.ms：生产者在发送消息之前等待Broker元数据信息的最长时间。如果在该时间内无法获取到Broker元数据信息，则会抛出TimeoutException异常。默认值为60000毫秒，即60秒。compression.type：消息压缩类型。可选值为none、gzip、snappy、lz4。默认值为none，表示不进行压缩。压缩可以减少消息的传输大小，提高网络带宽的利用率，但会增
转载
2024-07-25 12:33:00
11阅读
kafka概述1.1 kafak定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka 最新定义： Kafka 是一个开源的分布式事件流平台（ Event Streaming Platfor
转载
2023-12-17 10:07:35
102阅读
需求描述：需要从kafka里读取日志实时给前端推送，做一个实时查看日志详情的功能原解决方案：刚开始想的解决方案是celery异步从kafka里读取数据写到文件中，前端页面使用定时器给每隔一秒就访问一次服务器获取这个文件里的数据存在问题：日志数据过多且一直刷新，写到文件里 服务器 内存、CPU 占用多大。前端定时器每一秒访问后端接口，导致后端服务器访问量过多，服务器有时响应不过来，太占用资源。解决方
转载
2024-06-27 16:11:11
47阅读
需求 已有Kafka服务，通过kafka服务数据（GPS）落地到本地磁盘（以文本文件存储）。现要根据echarts实现一个实时车辆的地图。分析前端实时展现：使用websocket技术，实现服务器端数据推送到前端展现通过Java的kafka client端获取数据，并且通过websock推送到前端。websocket简介 websocket是HTML5开始提供的一种在单位TCP连接上进行全双工通讯的
转载
2024-05-02 22:22:19
56阅读
正常大家都这么问的，但是实际上应该是想问：kafka和redis queue有什么区别？，因为redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统。两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。 一、存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式
转载
2023-08-15 17:09:23
369阅读
之前学习过kafka，但在项目中用的时候，发现还有一些点特别需要注意，这里全部总结一下：1、Kafka是一个【消息订阅-发布系统】 由消息生产者（Producer）和消息消费者（Consumer）组成，Producer将消息推送（Push）到Kafka集群，Consumer从Kafka集群
转载
2024-04-25 12:21:47
217阅读
文章目录七、Redis7.0 Redis介绍redis支持的数据类型及应用场景redis相比memcached的优势redis配置文件redis单线程？redis常见函数缓存雪崩、缓存击穿、缓存穿透、数据库和缓存的双写一致性问题redis的持久化方式八、Kafka7.0 Kafka 的设计是什么样的7.1 Kafka 如何保证高可用？7.2 kafka 为什么那么快？7.3 Kafka如何保证消
转载
2024-03-11 09:15:34
61阅读
kafka一、概述1、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。2、消息队列1.点对点模式一对一，消费者主动拉取数据，消息收到后消息清除.消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue
转载
2024-02-14 10:32:36
135阅读
kafka在大数据、分布式架构中都很流行。kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。kafka作为消息队列的优点：分布式的系统高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。数据保留在磁盘上，因此它是持久的。一、pull模式消息队列有push模式和pull模式。push模式是消息队列推送给消息消费者，pull模式是消息消费者从消息队列中拉取。二、发布 - 订阅消息
转载
2023-10-11 07:23:10
197阅读
Kafka数据文件存储Kafka默认的消息同步 与 消息确认机制 当producter发送一条消息时，首先会进入partition的leader中，当leader把该消息写入到磁盘成功后，会给ack回应。 producter就会继续进行下一步或下一轮的操作，kafka默认ack=1，即leader把消息落盘成功，就认为是成功了。副本数据同步机制 (1). 当producter向partition写
转载
2024-04-26 18:53:33
113阅读
一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。几种分布式系统消息系统的对比：二、Kafka基本架构它的架构包括以下
转载
2024-03-14 06:59:41
137阅读
Kafka发送数据的三种模式摘要：为生产者设置属性kafka发送端3种不同的发送模式1、Fire-and-forget2、Synchronous send3、Asynchronous send异步发送相关参数buffer.memorycompression.typeretriesbatch.sizelinger.msclient.idmax.in.flight.requests.per.conn
转载
2023-10-16 00:32:24
227阅读
不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。一、异步消息模式异步消息可以作为解耦消息的生产和处理的一种解决方案。提到消息系统，我们通常会想到两种主要的消息模式——消息队列和发布/
Kafka 分区机制产生的消息推送和消费逻辑
使用过 Kafka 的同学都知道 Kafka 的消息组织方式是三层结构：主题 - 分区 - 消息。一个主题会有多个分区，每条消息只会保存到该主题下的某一个分区，而不是会在多个分区保存。为什么 Kafka 要设计分区的概念而不是用主题来承载消息呢？在 Kafka 中，Topic 是逻辑的概念，Partitio
转载
2024-07-29 23:07:34
40阅读
目前，Kafka 使用 ZooKeeper 来保存与分区和代理相关的元数据，并选举出一个代理作为集群控制器。不过，Kafka 开发团队想要消除对 Zookeeper 的依赖，这样就可以以更可伸缩和更健壮的方式来管理元数据，从而支持更多的分区，还能够简化 Kafka 的部署和配置。通过事件流的方式来管理状态确实有它的好处，比如用一个数字(即偏移量)来描述消费者在事件流中的处理位置。多个消费者通过处理
转载
2023-11-07 11:36:09
110阅读
前言描述 生产初级，Service服务较少，访问量较少，随着业务量的不断增加，日志量成倍增长，然后就遇到了消息队列redis被充爆，不能满足应用的情况。针对此情况，我们来分析下可用的消息多列。官方推荐消息队列 redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较 Redisredis是基于内存的应用，消息都存放在内存中，写入读取速度快，但是受内存容量的限制，容易
转载
2023-08-10 13:16:11
136阅读
（1）redis的主要作用是用以内存数据库，只是它提供的数据类型list可以用作消息队列而已而kafka是本身就是消息队列，消息的存储模型只是其中的一个环节，还提供了消息ACK和队列容量、消费速率等消息相关的功能，更加完善（2）redis 发布订阅除了表示不同的 topic 外，并不支持分组kafka每个consumer属于一个特定的consumer group（default group）, 同
转载
2023-06-29 11:30:57
114阅读
