Kafka定义规则，检测是否满足规则，并且做出这个规则里所做的动作。【规则的计算和匹配性，一切皆动态规则】使用场景：实时推荐、实时风控、实时精准广告推送。[实时推荐] 冷用户访问 --> 给优惠券；[实时推荐] 只看不买 --> 促单；[实时推荐] 生成订单后未支付，给发短信。[实时风控] 某IP近1小时内注册账号超过10个； 某账号群体近1h内购买优惠券商品超过100件...1. k
转载
2024-08-06 21:07:47
19阅读
在现代分布式系统中，消息队列被广泛应用于数据传输和通信。Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已成为企业中流行的消息中间件。然而，在使用 Java 模拟 Kafka 时，有时会遇到发送失败的问题，这给业务系统的稳定性和可靠性带来挑战。本文将详细探讨这一问题，涵盖背景描述、技术原理、架构解析、源码分析、案例分析等方面的内容。
### 背景描述
在使用 Kafka 的过程中，常常会
讨论一下kafka参数的配置1、acks 参数配置acks这个参数有三个值：0，1，-1，但是不用的参数对应的含义不同，那如果我们想要保证数据不丢失，acks 值应该设置为哪个参数呢？0：代表生产者只要把消息发送出去以后就认为消息发送成功了，这种方式有可能会导致数据丢失，因为有可能消息发送到服务端以后服务端存储失败了。1：代表生产者把消息发送到服务端，服务端的 leader replica 副本写
转载
2024-03-27 10:13:29
40阅读
现在基本上大数据的场景中都会有kafka的身影，那么为什么这些场景下要用kafka而不用其他传统的消息队列呢？例如rabbitmq。主要的原因是因为kafka天然的百万级TPS，以及它对接其他大数据组件的流处理功能，比如可以更好的对接Apache storm。本文只是讨论kafka作为消息队列的功能及一些用法。 丑话说在前头Kafka本身比较重，强依赖于zookeeper，所以使用Kaf
目录一 消息传递方式1.1 消息不可变1.2 ASK消息模式1.3 Tell消息模式1.4 Forward消息模式1.4 Pipe消息模式 参考文章
Gitter Chat，Akka 在线交流平台
Akka Forums，Akka 论坛
Akka in GitHub，Akka 开源项目仓库
Akka Official Website，Akka 官网
Akka Java API，Akka 应用
转载
2024-05-12 22:22:37
124阅读
今天遇到一个kafka的问题，在生产者发送消息之后，消费者会消费多次。在网上查询了很久，最终是在这个博客的引导下发现了问题：http://www.dalbll.com/Group/Topic/JAVA/5162，里面提到了kafka中的配置enable.auto.commit 是 true，这个会自动提交，然后是当我们的配置是自动提交的时候，消费者的消息投递保证有可能是
转载
2024-03-10 11:18:41
131阅读
一、提前安装基本环境由于Kafka是用Scala语言开发的，运行在JVM上，在安装kafka服务器之前需要先具备Java环境和zookeeper环境。我这里安装的是jdk11和zookeeper3.8.3。最近在自己学习kafka消息中间件，安装的时候遇到以下问题，经过查找一些有用资料解决了问题，现总结如下：文章末尾附上源文件链接，自取1、对应需要的文件可到Apache官网上根据需求选择下载。（1
转载
2024-08-05 11:07:26
713阅读
Kafka学习(二) 生产者生产者就是负责向 Kafka 发送消息的应用程序。在 Kafka 的历史变迁中，一共有两个大版本的生产者客户端：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧生产者客户端（Old Producer）或 Scala 版生产者客户端；第二个是从 Kafka 0.9.x 版本开始推出的使用 Java 语言编写的客户端，我们可以称之为新生产
转载
2024-02-25 21:51:19
98阅读
一、异步处理1、异步概念异步处理不用阻塞当前线程来等待处理完成，而是允许后续操作，直至其它线程将处理完成，并回调通知此线程。必须强调一个基础逻辑，异步是一种设计理念，异步操作不等于多线程，MQ中间件，或者消息广播，这些是可以实现异步处理的方式。同步处理和异步处理相对，需要实时处理并响应，一旦超过时间会结束会话，在该过程中调用方一直在等待响应方处理完成并返回。同步类似电话沟通，需要实时对话，异步
转载
2024-10-10 10:54:41
54阅读
文章目录前言消息重试分为两种：Producer发送消息的重试 和 Consumer消息消费的重试。一、Producer端重试二、 Consumer端重试 前言提示：不知道消费者消费失败的重新消费原理的出门左拐：本文示例的需求：消费者接收消息，如果异常则重新信消费，当重试多次之后不再重试 官方文档：https://github.com/apache/rocketmq/blob/master/doc
转载
2024-03-16 19:18:55
315阅读
这几天用kafka来做分布式事务，所以就涉及到了kafka，以前都是用MQ做消息中间件，这次又学习了kafka的相关内容。一、kafka是什么？是一种高吞吐量的分布式发布订阅消息系统。有如下特性：通过o(1)的磁盘数据结构提供消息的持久化，这种数据结果对于即使TB的消息存储也能够保持很长时间的稳定高吞吐量：即使是非常普遍的硬件kafka，也可以支持每秒百万的消息。支持通过kafka服务器和消费机集
转载
2024-10-16 14:10:42
20阅读
1. 实现Kafka的生产者客户端：1.1 创建Producer生产者实例：一个正常的生产逻辑 需要具备以下几个步骤：配置生产者客户端参数 及 创建相应的生产者实例；构建待发送的消息；发送消息；关闭生产者实例。1.2 发送消息的步骤：消息构建好后，在通过 RdKafka::Producer::produce() 方法发往broker的过程中，需要先后经过 “序列化器、分区器、生产者拦截器”，最后到
转载
2024-02-28 11:46:00
140阅读
3.3.1 消费方式consumer采用pull（拉）模式从broker中读取数据。cpush（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。pull模式不足之处是，如果ka
转载
2024-01-31 00:16:39
138阅读
文章目录kafka 消费者分区分配策略范围分配 RangeAssignor数据演示部分源码分析轮询分配RoundRobinAssignor数据演示部分源码分析粘性分配法 StickyAssignor数据演示分配主流程部分源码分析 kafka 消费者分区分配策略Note：采用kafka1.1版本源码进行分析在消费者客户端中有一个参数配置partition.assignment.strategy，是
转载
2024-05-31 00:32:23
164阅读
问题整理Broker 1004 上面的一块磁盘坏掉了。坏的透透的,也没有RAID,反正就是这块磁盘数据恢复不了了。因为1004坏了,导致副本离线,如果副本刚好是Leader,则会触发Leader重选举。然后刚好有一些分区中的ISR只有1004,这个时候1004副本下线,重选举的时候Leader选不出来,就变成了-1，这些分区此时为不可用状态,需要里面恢复。如果直接停机1004更换磁盘重启,那么势必
转载
2024-03-19 10:26:58
46阅读
晚上7点收到topic堆积告警，经检查，发现消费者到topic分区断连，分区覆盖率下降为0，由于业务TPS高，所以几分钟内即形成上千万条消息堆积，业务成功率下降明显，第一时间怀疑晚上高峰期业务量大，带宽消耗大，网络不稳定造成的，所以第一时间增加消费方的超时时间（socket.timeout.ms）并重启，消费者随即连接成功，重新开始消费，堆积逐渐减小，业务逐渐恢复。但一周不到再次出现同样的问题，分
转载
2024-02-16 11:03:57
101阅读
Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。BrokerBroker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采用了批量刷盘的做法。即，按照一定的消息量，和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。将数据存
转载
2024-06-11 01:24:27
152阅读
背景由于业务需要，最近部署了一个跨网段的服务，由一个网段中的应用服务器向另一个网段中的Kafka集群写入消息，应用服务器与Kafka集群之间已经开通网络，telnet结果显示相应端口之间连接正常。初次上线之后，发现如下方法执行正常，未出现超时阻塞运行现象，但Kafka消费者无法接收发送的消息，怀疑消息并未真正写入Kafka集群中。producer.send(record)源码追踪实际上，我们追踪源
转载
2023-12-18 16:24:38
78阅读
所谓的零拷贝是指将数据直接从磁盘文件复制到网卡，而不需要经由应用之手。零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。对Linux操作系统而言，零拷贝技术依赖于底层的sendfile()方法实现，对于Java语言，FileChannel.transferTo()方法的底层实现就是sendfile()方法。单纯从概念上理解“零拷贝”比较抽象，这里简单地介绍一下它。考虑这样一种常
转载
2024-03-21 10:54:36
44阅读
前言很久很久以前，在学JavaEE的时候，开发工具用的是Eclipse。后来我做了Android开发，当前IntelliJ是JavaEE开发的主流工具，Eclipse早已经没落，公司的JavaEE开发人员也早已不用Servlet，都是用Spring Boot，所以我没办法向他们请教在IntelliJ上开发Servlet项目的相关问题，只能靠自己了。我想用IntelliJ创建Servlet项目，毕竟
