在业务稳定性要求比较高的情况下，运维为能及时发现问题，有时需要对应用程序的日志进行实时分析，当符合某个条件时就立刻报警，而不是被动等待出问题后去解决，比如要监控nginx的$request_time和$upstream_response_time时间，分析出最耗时的请求，然后去改进代码，这时就要对日志进行实时分析了，发现时间长的语句就要报警出来，提醒开发人员要关注，当然这是其中一个应用场景，通过这
转载
2023-09-12 16:48:26
118阅读
本文实例讲述了Python系统监控模块psutil功能与经典用法。分享给大家供大家参考，具体如下：
1. psutil模块概述
psutil是一个跨平台库（http://code.google.com/p/psutil/），能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要应用于系统监控，分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能，如ps
转载
2023-06-16 09:47:42
83阅读
阅读目录一、Python编写的监控工具一、多功能系统资源统计工具dstat1、dstat介绍dstat是一个用Python语言实现的多功能系统资源统计工具，用来取代Linux下的vmstat、iostat、netstat和ifstat等命令。并且，dstat克服了这些命令的限制，增加了额外的功能、以及更多的计数器与更好的灵活性。dstat可以在一个界面上展示非常全面的监控信息。dstat将以列表的
转载
2023-07-27 14:37:05
305阅读
一、概要:psutil（进程和系统实用程序）是一个跨平台库，用于 在Python中检索有关正在运行的进程和系统利用率（CPU，内存，磁盘，网络，传感器）的信息。它主要用于系统监视，分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，io
转载
2024-02-25 08:27:03
29阅读
前言我们使用Python和它的数据处理库套件(如panda和scikiti -learn)进行大量数据处理时候，可能使用了大量的计算资源。如何监视程序的内存使用情况就显得尤为重要。1.询问操作系统跟踪内存使用情况的最简单方法是使用操作系统本身。您可以使用top来提供您在一段时间内使用的资源的概述。或者，如果您想要现场检查资源使用情况，您可以使用ps命令:$ ps -m -o %cpu,%mem,c
转载
2023-08-16 10:03:08
54阅读
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import wmi
import time
def cpu_mem():
c = wmi.WMI()
for processor in c.Win32_Processor():
print ("Processor ID: %s" % processor.DeviceID )
print( "Process
转载
2023-06-28 00:08:13
146阅读
利用socket监控服务器端口，端口不通时，发邮件提醒import yagmail #导入yagmail模块
import re #导入re模块，进行正则匹配
import socket #导入socket模块
def sendmail(subject,contents):
#连接邮箱服务器
yag = yagmail.SMTP(user='发件人邮箱',password='授
转载
2023-06-20 14:37:12
72阅读
作为运维人员，想必大家肯定都做过这样的事情：为了监控系统资源使用情况，开了若干个窗口，来回切换看输出：只要我切得够快，性能异常点就逃不过我的眼睛！这个时候你要是有个监控工具自然是很好的，例如我们美创的监控报警工具onekeeper，画面又好看，数据也准确，还是实时更新的。然而好用的东西都是要花钱的，今天我们就利用python实现一个简单的动态监控图表。1. 系统环境需求我们这次要写的脚本主要基于P
转载
2023-08-01 12:51:36
80阅读
假设现在有一个应用场景，需要对文件系统进行监控，发生变化时产生日志，对新增的文件做一些相应的操作。比如说应用到我们之前的音乐高潮提取器：若当前文件夹下增加了一个音乐文件，监控器就调用音乐高潮提取器，自动提取该音乐文件的高潮部分。这样的监控器写起来也不难，但是很花时间，有许多情况要考虑。不过幸好我们是写Python的，有许多轮子可以使用，本文介绍的就是一个名为 watchdog 的模块，它能帮助我们
转载
2023-08-30 23:58:55
90阅读
好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载
转载
2024-01-29 21:41:05
26阅读
python实时监控文件目录
转载
2023-07-03 16:28:26
85阅读
监控一个指定进程，每隔5秒钟获取其CPU、内存使用量超过60%即kill掉该进程，获取其句柄数，超过300也kill掉该进程
转载
2023-05-24 22:21:58
275阅读
监控Puppet日志的Python脚本，供参考# -*- coding: utf-8 -*-
__author__ = 'River'
import timeit,os
import re,time
'''
'''#被监控的文件log_file="/var/log/messages"#记录读取的行数line_file="/var/log/line.log"##计算文件行数def linecount
转载
2023-06-30 11:23:33
97阅读
一、使用场景 在用windows环境使用python脚本的时候，经常要监控python脚本是否正在运行，如果未运行，要想办法拉起来。这里使用的windows自带的批处理脚本监控方案。二、说明 1.配置和参数说明set AppName=python.exe  
转载
2023-05-25 16:00:19
229阅读
文章目录一、注册账号：1、能创建多个项目：2、接收的监控：二、安装模块三、简单使用：1、简单测试1：报警：2、下面我模仿一个爬虫失败的监控： 一、注册账号：注册地址 进入之后使用邮箱注册，我使用QQ邮箱注册就能使用。注册成功之后，会跳转让选择语言界面，我这里选择python： 我的跳转后地址：(https://sentry.io/onboarding/b4754e1b71/get-started
转载
2023-07-04 23:10:39
162阅读
本文并不是讲解爬虫的相关技术实现的，而是从实用性的角度，将抓取并存入 MongoDB 的数据 用 InfluxDB 进行处理，而后又通过 Grafana 将爬虫抓取数据情况通过酷炫的图形化界面展示出来。在开始之前，先对 Grafana 和 InfluxDB 做一下简要的介绍：Grafana：是一个开源的分析和监控系统，拥有精美的web UI，支持多种图表，可以展示influxdb中存储的数据，并且
转载
2023-08-06 22:40:52
60阅读
闲来无事干，说干就干。主要是通过python函数以及python内置模块来实现对磁盘、内存、CPU、负载的数据采集，然后发送到企业号，并到达微信端，方便查看信息。
转载
2023-05-22 21:32:51
88阅读
背景公司有600多台服务器，打算写一个小程序，能一眼看见哪些服务器不在线。大体思路是：1、把所有服务器ip存进数据库，ping命令判断服务器是否在线2、更新数据库中ip的状态3、简单的web显示出来4、优化程序，美观页面一、python检测IP在线fping命令，它是对一个文件的批量ping，瞬间完成的，如果ping不通，那就较慢，日常ping不通的毕竟是少数，所以这个非常适用。这个命令需要安装，
转载
2023-08-11 17:27:45
148阅读
python虽然是一门'慢语言'，但是也有着比较多的性能检测工具来帮助我们优化程序的运行效率。这里总结了五个比较好的python性能检测工具，包括内存使用、运行时间、执行次数等方面。首先，来编写一个基础的python函数用于在后面的各种性能测试。def base_func():
for n in range(10000):
print('当前n的值是：{}'.format(
转载
2023-08-07 16:47:14
186阅读
psutil详解一、介绍用Python来编写脚本简化日常的运维工作是Python的一个重要用途。在Linux下，有许多系统命令可以让我们时刻监控系统运行的状态，如ps，top，free等等。要获取这些系统信息，Python可以通过subprocess模块调用并获取结果。但这样做显得很麻烦，尤其是要写很多解析代码。在Python中获取系统信息的另一个好办法是使用psutil这个第三方模块。顾名思义，
转载
2023-07-08 10:06:19
233阅读
