前面的时候，我因为后台粉丝的一些问题，整理了一篇文章，将ELK三个技术进行详细的讲解，从原理到实践，全面覆盖，但是因为篇幅原因，我分成了两篇进行整理，上篇主讲ES话不多说，直接上正题一、 Logstash数据采集工具安装和使用1． 简介Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。而在官网
转载
2023-12-26 19:57:23
94阅读
1. canal安装官方文档：https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart版本: canal 1.1.3 , JDK 1.8+ ,MySQL 5.7 软件下载之后解压缩，有2个配置文件需要更改:canal.properties
example/instance.properties再修改之前，先
转载
2024-06-20 06:59:56
58阅读
消费者发送消息流程解析生产者发送消息流程发送消息类型序列化器分区器拦截器其他生产者参数 生产者发送消息流程发送消息类型同步发送//同步发送消息
//通过send()方法发送完一个消息后返回一个Future，然后调用Future对象的get()方法等待Kafka响应
Future<RecordMetadata> future = producer.send(record);
//如果K
转载
2023-09-02 17:30:55
196阅读
（1）kafka生产者设计和组件（1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高（用户点击链接可以马上加载出页面即可），吞吐量取决于用户使用网站
转载
2024-02-28 21:43:58
102阅读
1.Kafka 的设计时什么样的呢?Kafka将消息以topic为单位进行归纳将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一一个或多个服务组成，每个服务叫做一个broker.producers通过网络将消息发送到Kafka集群，集群向消费者提供消息2数据传输的事物定义有哪三种?数据传输的事
Kafka的消息传递：首先我们要先定义好topic，然后producer生产message，push到broker，随后consumer 从订阅的toipc中pull到消息消费。一、producer发布消息1、写入方式producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafk
转载
2023-09-24 08:26:38
343阅读
kafka是一个分布式流处理的平台，通过kafka我们可以发布和订阅流式记录。 我个人喜欢把kafka当做数据库去理解，因为它也有存放数据的功能，但是还是与数据库是不一样的。 kafka中多个broker称为一个集群，一个broker（独立的kafka服务器）中可以创建不同的topic（主题），topic下可以建立多个partition（分区），数据则存放在分区中的一个单元里面（partition
转载
2024-03-27 16:54:55
319阅读
（1）生产者概览（1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高（用户点击链接可以马上加载出页面即可），吞吐量取决于用户使用网站的频度。（2）K
转载
2024-03-19 11:34:07
154阅读
本文实现具体的发送，消费kafka数据代码。kafka服务的搭建详见另一篇文章。kafka服务ip为192.168.1.140，端口port为默认9092。上一篇文章前台代码基本完成，接下来我们在kafka包内接着撸。创建类SendMsgKafka，创建一个全局静态变量显示发送的次数public static int TIMES = 0;接下来就是具体的方法，先写发送数据的代码，创建一个总体控制的
转载
2024-06-24 16:18:37
72阅读
## Java 向 Kafka Topic 发消息的完整指南
在现代的微服务架构中，消息队列（如 Kafka）扮演着重要的角色。Kafka 是一个高吞吐量的分布式消息系统，能够有效地处理大量的实时数据流。本文将帮助你实现 Java 向 Kafka topic 发送消息的过程。我们将按照以下步骤进行：
### 流程概述
| 步骤 | 描述
原创
2024-09-05 03:33:49
125阅读
目录1、页缓存技术 + 磁盘顺序写2、零拷贝技术3、最后的总结“ 这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下
转载
2024-04-09 06:41:55
47阅读
不管是把 Kafka 作为消息队列、消息、总线还是数据存储平台来使用 ，总是需要有一个可以往 Kafka 写入数据的生产者和一个可以从 Kafka读取数据的消费者，或者一个兼具两种角 色的应用程序。例如，在一个信用卡事务处理系统里，有一个客户端应用程序，它可能是一个在线商店， 每当有支付行为发生时，它负责把事务发送到 Kafka上。另一个应用程序根据规则引擎检 查这个事务，决定是批准还是拒绝。 批
转载
2024-01-10 12:34:30
42阅读
所谓 CommitFailedException，顾名思义就是 Consumer 客户端在提交位移时出现了错误或异常，而且还是那种不可恢复的严重异常
很多提交位移的 API 方法是支持自动错误重试的，比如我们在上一期中提到的commitSync 方法异常解释
本次提交位移失败了，原因是消费者组已经开启了 Rebalance 过程，并且将要提交位移的分区分配给了另一个消费者实例你的消费者实例花费了太
转载
2024-05-20 22:25:47
160阅读
原因有研发同事反馈，kafka集群无法消费了，经查看日志，发现数据磁盘占用100%，修改kafka参数（后续详细说明），删除kafka日志，仍无法启动，经与研发同事商量可以删除topic。过程1.与业务同事确定kafka数据保存时间，确定每个分片保存大小，涉及参数：参数名参数含义默认值此处配置log.retention.hours日志保存的时间，可以选择hours,minutes和ms168(7d
转载
2023-11-27 05:52:18
145阅读
kafka删除topic数据一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13三、kafka配置
转载
2023-10-24 07:40:05
718阅读
一.kafaka的异步发送kafka对于消息的发送,可以支持同步和异步,同步会需要阻塞,而异步不需要等待阻塞的过程,从本质上来说, kafka都是采用异步的方式来发送消息到broker,但是kafka并不是每次发送消息都会直接发送到broker上,而是把消息放到了一个发送队列中,然后通过一个后台线程不断从队列中取出消息进行发送,发送成功后会触发callback,kafka客户端会积累一定量的消息统
转载
2023-07-17 09:39:50
497阅读
前两天有个朋友咨询我一个关于 kafka 消息消费慢的问题。最后帮忙解决了，记录下过程。
他的项目上 kafka 使用的是云服务，版本号是 2.12，现有一个生产者和一个消费者，生产十分钟的消息，需要二十分钟才能消费完。
消费者每次拉取1000条消息进行处理，使用的是 newCachedThreadPool 线程池。
转载
2023-07-20 11:27:50
105阅读
一次解决kafka producer发送很慢的经历使用场景：kafka发送producer为单实例并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证 当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志，
转载
2023-08-22 13:02:23
322阅读
# 向 Kafka 发送 Java 对象：一个全面指南
Apache Kafka 是一个高吞吐量、可扩展的分布式流处理平台，广泛用于实时数据传输、日志聚合和事件驱动架构等场景。今天，我们将深入探讨如何将 Java 对象发送到 Kafka。这一任务虽然简单，但也包含了一些重要的概念。
## Kafka 简介
Kafka 是一个分布式、高吞吐量的消息队列，适用于流式处理和事件驱动架构。其设计目标
原创
2024-10-28 03:54:25
67阅读
1.为什么这么快？kafka为什么这么快，就是kafka再各个层面做了各种各样的优化，尽可能的把资源最大化的利用kafka做的优化主要有以下几个方面：1.Producer批处理2.PageCache（读写缓存的使用）3.ZeroCopy4.Kafka服务端处理请求的方式5.顺序读写6.分区机制，以及消费者组的使用7.消息格式的演变，以及压缩消息
最主要的就是v2版本提取消息公共属性，使用可变
转载
2024-03-14 09:50:53
92阅读
