最近在搞Kafka集群监控，之前也是看了网上的很多资料。之所以使用jmxtrans+influxdb+grafana是因为界面酷炫，可以定制化，缺点是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。环境信息CentOS Linux release 7.6.1810 (Core)jdk1.8.0_201zookeeper-3.4.14kafka_2.11-2.2.0开启Kaf
转载
2024-03-26 09:27:00
195阅读
kafka--producer参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看bootstrap.servers该参数指定了一组host:port 对，用于创建向 Kafka broker 服务器的连接，比如:k
转载
2024-03-26 10:30:56
69阅读
Prometheus从根本上是将所有数据存储为时间序列（属于同一度量的时间戳值和相同的标记维度集）。除了存储的时间序列，Prometheus还可以生成临时派生的时间序列作为查询的结果。数据模型每个时间序列都由指标名称（metric name）和一组 键值对（lables）来唯一标识。指标名称（metric name）表示被测量的系统的某一特性（例如http_requests_total表示接收到的
转载
2024-10-12 08:58:00
197阅读
前言拥抱变化接手了 Kafka 平台，遂学习 0.10.0 线上版本的设计与实现。限于篇幅，本文不会逐行解析源码，而是从逻辑流程、设计模式、并发安全等方面学习各组件，笔记仅供个人 Review一：准备1.1 配置项参考文档 #producerconfigs，部分配置间会相互影响，如下：batch.size // 单个 batch 的最大字节数
linger.
转载
2024-03-19 02:23:54
50阅读
1. Kafka 简介Kafka 是一个高吞吐量、低延迟分布式的消息队列系统。kafka 每秒可以处理几十万条消息，它的延迟最低只有几毫秒。Kafka 也是一个高度可扩展的消息系统，它在LinkedIn 的中央数据管道总扮演着十分重要的角色。1.1 Kafka 的主要设计目标Kafka 作为一种分布式的、基于发布/订阅的消息系统，其主要设计目标如下：以时间复杂度为O（1）的方式提供消息持久能力，即
转载
2024-03-18 08:19:12
77阅读
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用;Kibana的部署;Kibana的作用，想必大家都知道了就是一个展示工具，报表内容
转载
2024-10-28 10:31:17
16阅读
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用;Kibana的部署;Kibana的作用，想必大家都知道了就是一个展示工具，报表内容
转载
2024-10-28 10:31:25
22阅读
从存储上来讲所有的监控指标metric都是相同的，但是在不同的场景下这些metric又有一些细微的差异。 例如，在Node Exporter返回的样本中指标node_load1反应的是当前系统的负载状态，随着时间的变化这个指标返回的样本数据是在不断变化的。而指标node_cpu所获取到的样本数据却不同，它是一个持续增大的值，因为其反应的是CPU的累积使用时间，从理论上讲只要系统不关机，这个值是会无
转载
2024-03-15 10:27:13
55阅读
1. kafka内核原理1.1 ISR机制问题：仅依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。ISR是：in-sync replica，就是跟leader partition保持同步的follower partit
转载
2024-06-28 13:52:32
23阅读
在基础业务架构中，关系型数据库是不可或缺的核心组件之一。MySQL作为最为广泛使用的数据库之一，至今仍然拥有着广泛的应用。对MySQL数据库进行有效的监控是至关重要的，它有助于我们深入了解数据库的运行状态。这不仅使得在测试环境中更好地观察数据库性能表现成为可能，也确保了正式环境中数据库的稳定运行。通过结合预警和告警规则，我们能够保障在问题发生时，业务相关人员能够及时发现并采取相应的措施。有助于进一
转载
2024-07-23 09:09:51
35阅读
作用是一个开源的报警系统数据模型指标名称：每一条时间序列由指标名称（Metrics Name）以及一组标签（键值对）唯一标识。其中指标的名称（metric name）可以反映被监控样本的含义。例如，http_requests_total 表示当前系统接收到的 HTTP 请求总量。指标名称只能由 ASCII 字符、数字、下划线以及冒号组成，同时必须匹配正则表达式 ：[a-zA-Z_:][a-zA-Z
转载
2024-02-29 14:06:59
193阅读
重要指标该配置为prometheus的rules报警规则。 监控数据通过jmx-exporter方式暴露kafka监控指标- name: kafka_server
rules:
- alert: UnderReplicatedPartitions复制不足的分区数
expr: avg_over_time(kafka_server_ReplicaManager_Value{name="
转载
2024-02-03 11:20:05
198阅读
Prometheus连接多个指标与聚合初识PromSQL一、Prometheus二进制操作符一对一匹配One to one一对多和多对一匹配 初识PromSQLPromSQL看起来简短整洁，通俗易懂。乍一看很简单，但是当真正使用它的时候，就会发现Prometheus的语句苍白无力，微不足道。在网上关于PromSQL的博客，问答较少，官网上的教程不是很好看懂，而且大多都是在编程的基础上实验。下面根
转载
2023-08-02 10:00:19
665阅读
先解释一下这些组件都是干什么用的，组件说明prometheus server 是 Prometheus 组件中的核心部分，负责实现对监控数据的获取，存储以 及查询。exporter 简单说是采集端，通过 http 服务的形式保留一个 url 地址，prometheus server 通过 访问该 exporter 提供的 endpoint 端点，即可获取到需要采集的监控数据。AlertManage
转载
2024-08-18 16:42:00
191阅读
Prometheus监控系统组件指标数据采集指标数据存储指标数据趋势分析及可视化告警监控体系介绍系统层监控：监控CPU、Load、Memory、IO等中间件及基础设施类系统监控：Kafka、RabbitMQ、Tomcat、Mysql、Ceph、ShardingSpere等应用层监控：用于衡量应用程序代码的状态和性能业务层监控：用于衡量应用程序的价值，例如电商网站的销售量等监测的黄金指标延迟：服务器
转载
2023-11-09 11:36:32
137阅读
文章目录基础概念metrics类型metrics和labels(度量指标名称和标签)Counter(计数器)Gauge(测量器)Histogram(柱状图)summaries(总结)使用背景使用案例 基础概念metrics类型Prometheus客户库提供了四个核心的metrics类型。这四种类型目前仅在客户库和wire协议中区分。metrics和labels(度量指标名称和标签)每一个时间序列
转载
2024-01-28 15:38:41
94阅读
文章目录lables.golabelset.gometric.govalue.goalert.gofnv.gosignature.go收获 github.com/prometheus/common@v0.35.0/model lables.go首先声明一系列标签常量，其中 __meta_ 和 __tmp_ 前缀用于标签的中间处理标签名 LabelName 是字符串，命名规范是“可以包含大写或小
转载
2024-04-23 11:39:05
162阅读
项目中四种指标的配置，和大家详细分享： 配置项目基本信息参考：参考基本配置1、springboot 配置四种指标：package com.nandao.demo.config;
import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.Gauge;
import io.micro
转载
2024-02-05 00:35:06
226阅读
指标是用来衡量性能、消耗、效率和许多其他软件属性随时间的变化趋势。它们允许工程师通过警报和仪表盘来监控一系列测量值的演变（如CPU或内存使用量、请求持续时间、延迟等）。指标在IT监控领域有着悠久的历史，并被工程师广泛使用，与日志和链路追踪一起被用来检测系统是否有不符合预期的表现。在其最基本的形式中，一个指标数据点是由以下三个部分构成：一个指标名称收集该数据点的时间戳一个由数字表示的测量值在过去的十
转载
2024-04-18 10:44:25
125阅读
Etcd-Etcd快速入门及PromQL查询etcd指标一、Etcd快速入门1.1、 etcd 介绍二、etcd 应用场景2.1、 键值对存储2.2、服务注册与发现2.3、消息发布与订阅2.4、分布式锁三、PromQL查询etcd指标3.1、etcd 节点可用性3.2、请求情况3.3、API Server对etcd 的读写缓存3.4、网络相关3.5、磁盘操作状态3.6、文件3.7、快照 Prom
转载
2024-04-28 10:32:50
120阅读
