思考：Logstash输入来源有那些？——本地文件、kafka、数据库、mongdb、redisAOP如何拦截日志？Logstash怎么订阅kafka？logstash需不需要集群？哪些日志信息需要输入logstash？ ——error级别.AOP 异常通知 服务与服务之间如何区分日志索引文件？——服务名称在分布式日志收集中，相同的服务集群的话是不需要区分日志索引文件，为什么？——为了
转载
2024-03-18 08:20:09
66阅读
项目场景： 某个实时高流量的数据流的数据统计模块，需要实时读取kafka数据并进行数种数据统计分析。问题描述： 负责关注数据流部分后，发现监控系统不断向我手机发送短信报警，报警内容指明是kafka的某个ConsumerGroup:topic的某些分区消息延迟Lag过高！ 马上监控系统web端可以看到： kafka对应ConsumerGroup:topic的消息延迟Lag非常不均匀，部分分区
转载
2024-01-10 16:16:46
92阅读
系列文章目录` 文章目录系列文章目录一、zookeeper1、zookeeper简介2、zookeeper特点3、zookeeper工作模式及机制4、zookeeper应用场景及选举机制二、实验部署1.三台机器执行：三、消息队列kafka1、为什么要有消息队列2、使用消息队列的好处3、消息队列的2种模式4、kafka特点5、kafka系统架构名词介绍6、Kafka架构及流程7.kafka集群部署总
转载
2024-06-07 13:43:16
44阅读
遇到的问题项目运行初期，kafka收集数据量不大，数据实时性要求不高，慢慢消费也会消费完，随着使用者和使用量的增加，数据增长过快，默认的配置无法在kafka配置默认的时间消费完数据，从而使得数据回滚，造成数据堆积导致重复消费。 其实主要原因是我消费者接受的方法执行时间过长，无法优化，每进来一条数据需要执行大概4~5秒。解决办法根据自己环境添加如下配置max.poll.records，此处配置的含义
转载
2024-06-05 00:13:23
331阅读
消费滞后消息堆积是消息中间件的一大特色，消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积是一把亦正亦邪的“双刃剑”，如果应用场合不恰当，反而会对上下游的业务造成不必要的麻烦，比如消息堆积势必会影响上下游整个调用链的时效性。在某些情况下，有些中间件如 RabbitMQ 在发生消息堆积时还会影响自身的性能。对 Kafka 而言，虽然消息堆积不会给其自身性能带来太大的
转载
2024-02-26 12:51:35
269阅读
早在十几天前，我就看到了 B 站发的那篇解释一年前网站崩溃的文章。当时的第一反应是时间过得真快，总觉得 B 站崩了仿佛在昨日，脑子里还能浮现当时热闹的微博和朋友圈的画面。根据当时的场景，我分析的原因是 CDN 出了问题，流量都直接打到后面，由于晚上流量高峰，一下子流量太大就挂了，虽然有多活，但是可能挂了之后因为又上了热搜，导致大家都想去看看热闹，于是乎雪上加霜，导致一系列联动挂了。不过如果仅仅是这
转载
2024-10-03 11:53:25
18阅读
无论 Kafka 作为 MQ 也好，还是作为存储层也罢，无非就是两个功能，一是 Producer 生产的数据存到 Broker，二是 Consumer 从 Broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。一、利用 Partition 实现并行处理我们都知道 Kafka 是一个 Pub-Sub 的消息系统，无论是发布还是订阅，都要指定 To
转载
2024-07-04 06:09:44
72阅读
概述本文将分享一些kafka经常使用的一些命令，不断完善中。管理创建主题，3个分区，2个副本对使用了zookeeper的kafka
kafka-topics.sh --create --zookeeper 192.168.2.140:2181,192.168.2.141:2181,192.168.2.142:2181 --replication-factor 2 --partitions 3 --
转载
2024-08-23 16:52:53
110阅读
Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。同时支持离线数据处理和实时数据处理。Kafka的设计原理分析一个典型的kafka集群中包含若干
写在前面随着微服务的普及，如何查看系统日志快速排查问题就是一个亟待解决的问题了，此时我们可以考虑使用kafka来统一收集日志，再结合ELK等查看日志，本文就一起来看下如何直接使用日志插件来完成日志写入工作。1：log4j配置一个卡夫卡的appeder，如下：log4j.rootLogger=info, S, KAFKA
#log4j.rootLogger=info, S
log4j.append
转载
2024-03-06 11:56:08
62阅读
文章目录架构图搭建安装zookeeper集群安装kafka集群安装kafka-manager 管理平台安装elasticsearch集群安装filebeat安装logstash安装kibana 架构图搭建安装zookeeper集群tar -zxf /opt/files/zookeeper-3.4.8.tar.gz -C /opt/envvim /opt/env/zookeeper-3.4.8/c
转载
2024-07-20 12:57:13
71阅读
1. 什么是消息系统?(1)消息系统是负责将数据从一个程序传输到另一个应用程序,因此应用程序可以专注于数据,不用担心如何共享它 分布式消息传递给基于可靠消息队列的概念. 消息在客户端应用程序和消息传递系统之间异步排队(2)有两种类型的消息模式可用 a.点对点的方式 b.发布-订阅消息系统(pub-sub)2.消息系统问题?(1)消息系统怎么知道某一个主题被哪些订阅者订阅? 需要进行维护,消息需要推
转载
2024-10-14 19:57:00
31阅读
前言线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思，并且结合本次故障，对kafka使用的最佳实践有了更深刻的理解。好了，一起来回顾下这次线上故障吧，最佳实践总结放在最后，千万不要错过。1、现象线上kafka消息突然开始堆积消
转载
2024-02-28 21:00:46
231阅读
11、LEO、LSO、AR、ISR、HW 都表示什么含义?LEO:Log End Offset。日志末端位移值或末端偏移量，表示日志下一条待插入消息的 位移值。举个例子，如果日志有 10 条消息，位移值从 0 开始，那么，第 10 条消息的位 移值就是 9。此时，LEO = 10。LSO:Log Stable Offset。这是 Kafka 事务的概念。如果你没有使用到事务，那么这个 值不存在(其
转载
2024-03-18 18:34:03
190阅读
文章目录1、Kafka特性1.1 为什么要使用 kafka 或消息队列1.2 kafka 为什么那么快2、kafka集群搭建3、kafka客户端工具使用3.1 创建topic3.2 生产和消费3.3 性能测试4、Kafka原理4.3 Kafka中的重要概念4.2 leader与follower4.3 生产和消费工作流程5、kafka可靠性问题5.1 幂等性问题5.2 kafka事务5.3 如何保
转载
2024-02-29 09:52:48
13阅读
在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问，故要将PartitionAssignmentState前的protected修饰符去掉可以直接将describeGroup返回的结果转换成JSON然后传至监控页面（supportedbyYANGliiNoba）。代码
原创
2019-05-21 15:18:43
1109阅读
原创
2021-09-07 16:50:04
362阅读
1,编译安装mysql参考文档：https://www.nenew.net/ubuntu18-04-compile-install-mysql-5-7-26.html系统：ubuntu1804版本：5.7.30下载地址：wget https://downloads.mysql.com/archives/get/p/23/file/mysql-boost-5.7.30.tar.gz1.1
一、消息队列解决的问题：引入消息队列一般能解决一下五种场景：异步处理，应用解耦，流量削锋，日志采集和消息通讯1、异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端（2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，
转载
2024-02-23 17:04:44
199阅读
一、技术背景在我们的日常项目中，Kafka是一项很常用的技术，我们可以用来做MySql + Cancel + Kafka实现数据库表的监听，实现具体的一些逻辑。同样Kafka也是一款高吞吐、高性能的消息中间件。具体的Kafka的技术相关事项就不在这里多做赘述。二、业务背景我这次的业务是基于某个一个订单在执行完业务逻辑后将执行完成的消息发送到Kafka，异步执行后置的逻辑。三、技术设计方案图由于具体
转载
2024-06-17 11:02:51
154阅读
