1. Kafka 简介Kafka 是一个高吞吐量、低延迟分布式的消息队列系统。kafka 每秒可以处理几十万条消息，它的延迟最低只有几毫秒。Kafka 也是一个高度可扩展的消息系统，它在LinkedIn 的中央数据管道总扮演着十分重要的角色。1.1 Kafka 的主要设计目标Kafka 作为一种分布式的、基于发布/订阅的消息系统，其主要设计目标如下：以时间复杂度为O（1）的方式提供消息持久能力，即
转载
2024-03-18 08:19:12
77阅读
最近在搞Kafka集群监控，之前也是看了网上的很多资料。之所以使用jmxtrans+influxdb+grafana是因为界面酷炫，可以定制化，缺点是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。环境信息CentOS Linux release 7.6.1810 (Core)jdk1.8.0_201zookeeper-3.4.14kafka_2.11-2.2.0开启Kaf
转载
2024-03-26 09:27:00
195阅读
kafka--producer参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看bootstrap.servers该参数指定了一组host:port 对，用于创建向 Kafka broker 服务器的连接，比如:k
转载
2024-03-26 10:30:56
69阅读
Prometheus从根本上是将所有数据存储为时间序列（属于同一度量的时间戳值和相同的标记维度集）。除了存储的时间序列，Prometheus还可以生成临时派生的时间序列作为查询的结果。数据模型每个时间序列都由指标名称（metric name）和一组 键值对（lables）来唯一标识。指标名称（metric name）表示被测量的系统的某一特性（例如http_requests_total表示接收到的
转载
2024-10-12 08:58:00
200阅读
前言拥抱变化接手了 Kafka 平台，遂学习 0.10.0 线上版本的设计与实现。限于篇幅，本文不会逐行解析源码，而是从逻辑流程、设计模式、并发安全等方面学习各组件，笔记仅供个人 Review一：准备1.1 配置项参考文档 #producerconfigs，部分配置间会相互影响，如下：batch.size // 单个 batch 的最大字节数
linger.
转载
2024-03-19 02:23:54
50阅读
作者：故事凌1. kafka概述##1.1 kafka简介Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性，非常适合大规模消息处理应用程序
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用;Kibana的部署;Kibana的作用，想必大家都知道了就是一个展示工具，报表内容
转载
2024-10-28 10:31:25
22阅读
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用;Kibana的部署;Kibana的作用，想必大家都知道了就是一个展示工具，报表内容
转载
2024-10-28 10:31:17
16阅读
设计初衷Kafka的设计初衷是为了满足高吞吐量、可持久化、可扩展和可靠性的分布式发布/订阅消息系统的需求。以下是一些Kafka的设计初衷：高吞吐量Kafka旨在处理大规模数据流和实时流式处理场景下的高吞吐量需求。它采用了分区和并行处理的机制，使得多个消费者可以同时消费不同的分区，实现了高度的并发性和扩展性。可持久化Kafka将消息持久化到磁盘中，允许消息在被消费之后仍然保留一段时间。这种特性使得K
从存储上来讲所有的监控指标metric都是相同的，但是在不同的场景下这些metric又有一些细微的差异。 例如，在Node Exporter返回的样本中指标node_load1反应的是当前系统的负载状态，随着时间的变化这个指标返回的样本数据是在不断变化的。而指标node_cpu所获取到的样本数据却不同，它是一个持续增大的值，因为其反应的是CPU的累积使用时间，从理论上讲只要系统不关机，这个值是会无
转载
2024-03-15 10:27:13
55阅读
1. kafka内核原理1.1 ISR机制问题：仅依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。ISR是：in-sync replica，就是跟leader partition保持同步的follower partit
转载
2024-06-28 13:52:32
23阅读
作用是一个开源的报警系统数据模型指标名称：每一条时间序列由指标名称（Metrics Name）以及一组标签（键值对）唯一标识。其中指标的名称（metric name）可以反映被监控样本的含义。例如，http_requests_total 表示当前系统接收到的 HTTP 请求总量。指标名称只能由 ASCII 字符、数字、下划线以及冒号组成，同时必须匹配正则表达式 ：[a-zA-Z_:][a-zA-Z
转载
2024-02-29 14:06:59
193阅读
在基础业务架构中，关系型数据库是不可或缺的核心组件之一。MySQL作为最为广泛使用的数据库之一，至今仍然拥有着广泛的应用。对MySQL数据库进行有效的监控是至关重要的，它有助于我们深入了解数据库的运行状态。这不仅使得在测试环境中更好地观察数据库性能表现成为可能，也确保了正式环境中数据库的稳定运行。通过结合预警和告警规则，我们能够保障在问题发生时，业务相关人员能够及时发现并采取相应的措施。有助于进一
转载
2024-07-23 09:09:51
35阅读
最近工作上有个需求，需要把prometheus 采集到的数据上报到kafka消息队列，看了下官方实现，prometheus 支持remote_write / remote_read 的方式扩展，可以在此基础上做文章。 github 上面有个现成的插件，看了一下，主要存在以下一些问题： 1、从环境变量读取配置（不够灵活，后续不好优化，不能做
原创
2019-08-17 10:34:44
8252阅读
2评论
Prometheus连接多个指标与聚合初识PromSQL一、Prometheus二进制操作符一对一匹配One to one一对多和多对一匹配 初识PromSQLPromSQL看起来简短整洁，通俗易懂。乍一看很简单，但是当真正使用它的时候，就会发现Prometheus的语句苍白无力，微不足道。在网上关于PromSQL的博客，问答较少，官网上的教程不是很好看懂，而且大多都是在编程的基础上实验。下面根
转载
2023-08-02 10:00:19
665阅读
重要指标该配置为prometheus的rules报警规则。 监控数据通过jmx-exporter方式暴露kafka监控指标- name: kafka_server
rules:
- alert: UnderReplicatedPartitions复制不足的分区数
expr: avg_over_time(kafka_server_ReplicaManager_Value{name="
转载
2024-02-03 11:20:05
198阅读
先解释一下这些组件都是干什么用的，组件说明prometheus server 是 Prometheus 组件中的核心部分，负责实现对监控数据的获取，存储以 及查询。exporter 简单说是采集端，通过 http 服务的形式保留一个 url 地址，prometheus server 通过 访问该 exporter 提供的 endpoint 端点，即可获取到需要采集的监控数据。AlertManage
转载
2024-08-18 16:42:00
191阅读
Prometheus监控系统组件指标数据采集指标数据存储指标数据趋势分析及可视化告警监控体系介绍系统层监控：监控CPU、Load、Memory、IO等中间件及基础设施类系统监控：Kafka、RabbitMQ、Tomcat、Mysql、Ceph、ShardingSpere等应用层监控：用于衡量应用程序代码的状态和性能业务层监控：用于衡量应用程序的价值，例如电商网站的销售量等监测的黄金指标延迟：服务器
转载
2023-11-09 11:36:32
137阅读
文章目录基础概念metrics类型metrics和labels(度量指标名称和标签)Counter(计数器)Gauge(测量器)Histogram(柱状图)summaries(总结)使用背景使用案例 基础概念metrics类型Prometheus客户库提供了四个核心的metrics类型。这四种类型目前仅在客户库和wire协议中区分。metrics和labels(度量指标名称和标签)每一个时间序列
转载
2024-01-28 15:38:41
94阅读
项目中四种指标的配置，和大家详细分享： 配置项目基本信息参考：参考基本配置1、springboot 配置四种指标：package com.nandao.demo.config;
import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.Gauge;
import io.micro
转载
2024-02-05 00:35:06
226阅读
