利用JMX监控1、Kafka端配置vi/usr/local/kafka/bin/kafka-run-class.shif[-z"$KAFKA_JVM_PERFORMANCE_OPTS"];thenKAFKA_JVM_PERFORMANCE_OPTS="-server-XX:+UseG1GC-XX:MaxGCPauseMillis=20-XX:InitiatingHea
转载
2017-12-25 15:14:42
3671阅读
Zabbix如何监控mysql性能，我们可以使用mysql自带的模板，可以监控如下内容：OPS（增删改查）、mysql请求流量带宽，mysql响应流量带宽，最后会附上相应的监控图！编写check_mysql.sh脚本用于获取mysql性能指标数据，你需要修改相应的数据库信息 # vim /usr/local/zabbix-2.4.4/scripts/chk_mysql.
zabbix
原创
2018-02-07 17:04:33
10000+阅读
1评论
一、简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。 它让我们很直观的知道，每个Partition的Message是否消费掉，有没有阻塞等等。 这个Web管理平台保留的Partition、Offset和它的Consumer的相关
转载
2024-02-22 23:48:51
176阅读
zabbix监控系统
zabbix监控系统：
是一个分布式的C语言编写高性能开源监控工具
分为server端和agent端
server端负责整个agent发回的数据，进行分析，保存与现实
agent需要装在每一个监控节点，根据监控项的设置可以进行监控数据的收集zabbix在程序架构上，收集数据采用的是C/S架构，展示数据采用的是B/S架构
zabbix的监控模式：主被动模式（针对客户端
转载
2024-05-24 12:21:20
20阅读
安防系统对于社会生活的监控与防护的重要性不言而喻，然而长久以来由于技术的不到位，我国安防监控系统不管是对社会的监管还是对社区家庭的保护都存在有很多漏洞，技术层面的难题是安防系统之所以监管不到位的主要原因。而随着物流网时代的来临，这一技术难题有望得到改善，物联网卡技术发展到今天，移动物联网卡已经正式在智能安防系统投入使用，解决了智能安防系统监控难题，开启新的安防监控时代。1、移动物联网卡智能安防对电
转载
2024-07-07 17:08:01
9阅读
描述：所有的topic的消息速率(消息数/秒)Mbean名："kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"正常的值：描述：所有的topic的流入数据速率(字节/秒)Mbean名："kafka.server":name=&
翻译
2019-05-09 13:14:08
2437阅读
zabbix监控kafka消息列队
原创
2019-01-04 09:27:09
9990阅读
1评论
有幸使用Kafka Mirror Maker来同步两个地方的数据，以下的是个人笔记记录（未完）。开启JMX使用JMX监控Kafka的敏感数据需要开启JMX端口，可以通过设置环境变量来实现。我自己的做法是在kafka-server-start.sh脚本文件中添加如下配置...
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_O
转载
2024-10-21 11:10:42
278阅读
今天要和你分享的主题是：那些主流的 Kafka 监控框架。在上一讲中，我们重点讨论了如何监控 Kafka 集群，主要是侧重于讨论监控原理和监控方法。今天，我们来聊聊具体的监控工具或监控框架。令人有些遗憾的是，Kafka 社区似乎一直没有在监控框架方面投入太多的精力。目前，Kafka 的新功能提议已超过 500 个，但没有一个提议是有关监控框架的。当然，Kafka 的确提供了超多的 JMX 指标，只
这次重新部署该架构，同时监控内外网机器的日志（文中ip及域名已做修饰）。在同时监控内外网机器上的日志时，我们加入了kafka，而与filebeat结合时出现了问题，内网机器的日志可以正常收集到，但外网filebeat与内网kafka传输数据之间，通过抓包发现，仍夹杂了kafka的内网地址。这样就导致外网机器的日志无法收集到。假如内网没有固定的外网ip，但有固定的外网域名lzx.linux.cn。修
原创
2021-04-25 09:40:02
820阅读
简介：
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka如下特性，受到诸多公司的青睐。
1、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一)。
2、支持通过Kafka服务器和消费机集群来分区消息
…………
场景：
Kafka的作用我就不在这BB了，大家可以瞅瞅http://blog.jobbole.com/
原创
2021-09-05 15:29:41
427阅读
# Zabbix监控Docker中的Kafka
在现代分布式系统架构中，Kafka作为一个高吞吐量的分布式消息队列，越来越受到开发者的青睐。而在Docker环境中部署和监控Kafka能够帮助我们更好地管理和调试微服务架构。在这篇文章中，我们将讨论如何使用Zabbix监控Docker中的Kafka，并提供一些具体的代码示例。
## 1. Zabbix简介
Zabbix是一款开源的监控解决方案，
Zabbix和Kafka部署情况如下：主机名 主机IP地址 Zabbix部署 Kafka部署 Kafka安装目录 bigdata111 192.168.128.111 Zabbix server、Zabbix agent kafka_2.11-2.1.1 /opt/kafka_2.11-2.1.1
原创
2022-04-30 17:32:11
8428阅读
kafka使用也很久了，如何细粒度的监控kafka，目前还找不到一款比较合适的开源监控工具，但是不妨碍总结一下如何监控kafka，最官方的方法就是使用metrics的值来监控kafka，目前我们就是使用jmxtrans来获取metrics值监控kafka的。kafak监控主要分为三个方面：broker监控、consumer监控、producer监控。三者的监控项可以通
转载
2024-03-04 23:45:59
80阅读
之前讲过了Kafka基本概念及原理，这次我们来看看Kafka Client的API。要使用Kafka Client的API，首先需要先部署Kafka集群，部署过程请参见官网。然后在项目中添加Kafka Client的依赖，在这里我们使用0.10.0.1版本：<dependency>
<groupId>org.apache.kafka</groupId>
转载
2023-12-01 12:13:42
68阅读
一、日志item介绍下面介绍zabbix另一个“重量级”的功能——日志文件监控，它最主要的是监控日志文件中有没有某个字符串的表达式，对应日志轮转与否，zabbix都支持。在配置Item的时候，Type选择Zabbix agent (active)，这里主要需要配置的是Key。下面是监控日志的两种key——log和logtr。log[/path/to/some/file,,,,,]logtr[/pa
转载
2024-03-01 14:14:37
51阅读
监控是比较容易调通的，就是zabbix 默认的 jmx tomcat和 jmx catalina模板存在不小的问题。最终的监控项什么的可能不全，只能自行去查找。tomcat大致分布：代理端： java-gateway服务客户端： catalina.sh修改web端: JMX interfaces 调通（跟Agent interfaces同级别的东西）一. 安装 配置 java-gateway本文j
转载
2024-06-20 11:12:27
16阅读
一 部署Zabbix监控平台
环境： zabbixserver eth1--192.168.2.5
zabbixclient_web1 eth1--192.168.2.100
转载
2024-08-30 21:21:23
101阅读
ceph的运维离不开完善的监控，特别是对osd的监控，虽然自L版本以后，ceph自带的zabbix模块，但是L和M版本还不能自动化发现osd，这时候，我们需要自定义自动发现模板。编写自动发现脚本#!/bin/sh
OSDS=(`ceph osd tree| egrep -v 'ID|host|root|default|rack' | awk '{print $1}'`)
LENGTH=${#OSD
转载
2024-03-23 15:33:41
72阅读
