好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载
转载
2024-01-29 21:41:05
26阅读
文章目录一、利用python定时截取电脑桌面，保存到指定目录二、将监控程序设置为开机自动启动1、新建start.bat文件，打开输入以下代码：2、将start.bat添加到任务计划三、附注过程中常见问题及解决办法1、在win10添加计划任务时失败，报错“占位程序接收到错误数据”2、计划任务添加成功，但是重启电脑后没有运行。在计划任务中，该一直是“任务尚未运行（0x41303）”的状态。3、aut
转载
2023-05-24 19:20:51
447阅读
一、效果图：二、需求说明：最近需要对节点到源站、办公环境访问业务平台网站质量和办公网络线路质量的监控，简单的ping可以检测到一些东西，但是http请求的检查也要进行，于是就研究了下pycurl。PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，PycURL 是一个非常快速（参考多并发操作）和丰
转载
2023-06-30 12:38:55
725阅读
好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的***成果，显示的是下
转载
2023-08-07 22:31:34
193阅读
简要介绍一下要实现的功能。在特殊时期，领导要求监控全校主要网站有没有被篡改，手动浏览太二，python实现每分钟自动检测几百个网页是否有变化，如果有变化就推送一条消息到微信群里。主要方法：本来想着每分钟保存一个页面到本地，然后和一分钟前保存的页面做对比，这样效率低且浪费资源。上网查了发现可以通过md5加密算法把页面加密成一个32位的字符串，每次对比字符串是否一致即可。具体原理不再赘述，可以参考关于
转载
2024-03-25 13:09:48
48阅读
python写的一个监控系统进程网络流量的程序，python2.7版本。 代码如下:import socket
import struct
import thread
import threading
import time
import os
net_data = {}
d_net_info = {}
lock = threading.Lock()
def print_data():
while
转载
2023-06-30 10:38:41
194阅读
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为
转载
2023-08-17 16:45:20
75阅读
前言本文主要介绍了笔者利用一个简单的Python脚本实现漏洞情报的监控以及自动通报的相关经验。一、背景笔者所在公司某一个业务系统用到了漏洞频发的Struts2框架，S2-045爆发的时候刚好是刚进公司不久，还没有落实好漏洞通报排查工作，因此该业务系统的服务器就因为这个漏洞沦陷了，后续又接连出了好几个RCE漏洞，好在及时发布了预警和响应排查，没有受到影响。鉴于S2的漏洞频繁爆发，且动不动就是RCE，
转载
2024-08-30 13:55:01
15阅读
python-自动化运维、办公、爬虫和娱乐作为一个会一些基本的办公自动化技术的老人，我想告诉大家一件最重要的事情： 你可以学办公自动化，可以学vba，Python，JavaScript，学各种东西都行，但千万记住一点：不要暴露自己的实力。 不要暴露自己的实力。不要暴露自己的实力！ 你可以一次合并2000个表格，但不要告诉别人这是你半个小时之内完成的。 要表现出自己是忙了一天才干完这几个项目的样子。
相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。1.成品图2. 环境InfluxDb，是目前比较流行的时间序列数据库；Grafana，一个可视化面板(Dashboard)，有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和O
转载
2023-08-02 15:44:05
67阅读
起因： 自己的MC服务器需要一个监控告警的小脚本优化： 以后优化一下，用阿里云服务进行部署代码实现：# !/usr/bin/python3
# -*- coding=utf-8 -*-
# @Author : 世界
# @file: PortMoni
转载
2023-08-06 13:05:52
132阅读
在做网页访问质量监控时，少不了使用到httpwatch这个工具。httpwatch能记录访问一个网页过程中发生的所有细节，包括网页里所有元素，从DNSlookup、网络连接到第一个数据包发送时间等等（如下图所示），都有详细记录，从而为我们查找问题提供了可视的方式。一般我们都是在出现问题时，就用它分析一下。但如果用它去长期跟跟踪一个网页的访问情况，然后记录入库，这些数据就可为分析问题提供一个基础
转载
2023-07-03 21:15:33
104阅读
本文并不是讲解爬虫的相关技术实现的，而是从实用性的角度，将抓取并存入 MongoDB 的数据 用 InfluxDB 进行处理，而后又通过 Grafana 将爬虫抓取数据情况通过酷炫的图形化界面展示出来。在开始之前，先对 Grafana 和 InfluxDB 做一下简要的介绍：Grafana：是一个开源的分析和监控系统，拥有精美的web UI，支持多种图表，可以展示influxdb中存储的数据，并且
转载
2023-09-29 12:57:51
359阅读
一年一度的“双十一”又要来了，很多人已经开始摩拳擦掌，毕竟几天之后手还在不在就不好说了。各种社交软件也是跟着遭殃，整天就是“来帮我一起盖楼”，各种字体绕过屏蔽，什么奇葩的脑洞也出来了： 不过也感谢这些电商平台，让多年未联系的好友、加过但没有对话的陌生人都找到了打破尴尬的话题。(让场面更加尴尬)月薪上万的白领们为了2块5毛钱的优惠券起早贪黑，也是堪称人类迷惑行为大赏了……问题是
# Python监控网页内容变化
随着互联网的发展，网页成为人们获取信息的重要途径之一。然而，有些时候我们希望能够及时地知道网页内容发生了变化，以便能够及时地采取行动。本文将介绍如何使用Python监控网页内容的变化，并在变化发生时发送通知。
## 网页内容监控原理
要监控网页内容的变化，我们需要定期获取网页的内容，然后将其与之前的内容进行比较。如果两者不一致，说明网页内容发生了变化。为了实
原创
2023-10-20 18:12:54
1684阅读
Python--网页更新监控工具 写这个网页更新监控工具，是因为最近要不停查看某个学校网站，看是否有考研最新消息发布。如果是人工的查看，确实比较费时，但是利用python对web开发的快速特点，就比较容易实现这个需求。
一、工作原理
首先是下载网页，这个在网上有太多的案例了，就不详细谈了。但是要注意对网页的中文字符的处理，这是python一直存在的问题。这里使用了c
转载
2023-10-03 21:18:04
614阅读
在一些公共场合，需要为公众提供一些公共查询的计算机，其实就是一些Windows计算机。我们希望使用计算机的人只使用浏览器打开某个指定的网页。在使用过程中，用户查询完毕之后，往往不主动关闭自己浏览过的网页，对于新来的用户来说造成一定的困扰。各个屏幕上花花绿绿，乱七八糟的信息，对于整个环境的整洁性来说，很不和谐。我们的解决把法就是，为浏览器设置默认主页。在用户新打开浏览器的时候，就会直接打开我们希望用
转载
2024-04-13 00:39:31
37阅读
目前很多公司业务已经上云，使用了大量的云主机。当前大多数云厂商的云主机公网都是采用的eip，也就是内网和外网使用的同一张网卡，所以流量全部经过的同一个网卡。然而这就面临一个问题，如何将公网和私网的流量分开统计呢？特别是当机器流量异常的时候，如何快速的判断流量是来自公网还是私网。当然云厂商一般也提供了eip的监控，然而很多公司也有一套自己的监控，对于自建监控如何实现，这就
转载
2024-03-19 11:28:46
38阅读
一、需求背景有些时候，特别是在做运维的时候，我们需要去关注某些网页的数据变化，比如工单系统是否出现了新的工单，并且能根据不同的情况发出提示音。来简化我们的关注力，只需要再出现提示的时候进行处理。具体的需求：1、当页面出现关键字的时候，发出提示2、当未正常监控的时候，发出提示针对这个需求，尝试过很多工具：1、按键精灵，基于图像对比，基本能实现上述要求，但是一方面配置复杂，另一方面占据电脑屏幕在前端运
转载
2024-01-09 15:31:46
174阅读
由于项目需要, 需要对网页的一些性能进行监控, 接触到了performance,window.performance 提供了一组精确的数据，经过简单的计算就能得出一些网页性能数据, 将这些数据存储为日志, 可有效的对网页性能进行监控.首先看一下在Chrome 的控制台执行window.performance会出现什么 下面是对这些属性的详细解释:1 performance = {
转载
2024-02-29 20:29:53
105阅读
