python写的一个监控系统进程网络流量的程序，python2.7版本。 代码如下:import socket
import struct
import thread
import threading
import time
import os
net_data = {}
d_net_info = {}
lock = threading.Lock()
def print_data():
while
转载
2023-06-30 10:38:41
194阅读
好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载
转载
2024-01-29 21:41:05
26阅读
文章目录一、利用python定时截取电脑桌面，保存到指定目录二、将监控程序设置为开机自动启动1、新建start.bat文件，打开输入以下代码：2、将start.bat添加到任务计划三、附注过程中常见问题及解决办法1、在win10添加计划任务时失败，报错“占位程序接收到错误数据”2、计划任务添加成功，但是重启电脑后没有运行。在计划任务中，该一直是“任务尚未运行（0x41303）”的状态。3、aut
转载
2023-05-24 19:20:51
447阅读
简要介绍一下要实现的功能。在特殊时期，领导要求监控全校主要网站有没有被篡改，手动浏览太二，python实现每分钟自动检测几百个网页是否有变化，如果有变化就推送一条消息到微信群里。主要方法：本来想着每分钟保存一个页面到本地，然后和一分钟前保存的页面做对比，这样效率低且浪费资源。上网查了发现可以通过md5加密算法把页面加密成一个32位的字符串，每次对比字符串是否一致即可。具体原理不再赘述，可以参考关于
转载
2024-03-25 13:09:48
48阅读
# 如何使用 Python 获取网页信息
## 简介
在现代互联网时代，我们常常需要从网页中获取信息。Python 是一种功能强大的编程语言，它提供了许多库和工具来帮助我们实现这一目标。本文将介绍如何使用 Python 获取网页信息的流程以及具体的代码实现步骤。
## 流程概述
下面是使用 Python 获取网页信息的基本流程：
| 步骤 | 描述 |
|----|------|
| 1
原创
2023-09-05 09:40:26
19阅读
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为
转载
2023-08-17 16:45:20
75阅读
前言本文主要介绍了笔者利用一个简单的Python脚本实现漏洞情报的监控以及自动通报的相关经验。一、背景笔者所在公司某一个业务系统用到了漏洞频发的Struts2框架，S2-045爆发的时候刚好是刚进公司不久，还没有落实好漏洞通报排查工作，因此该业务系统的服务器就因为这个漏洞沦陷了，后续又接连出了好几个RCE漏洞，好在及时发布了预警和响应排查，没有受到影响。鉴于S2的漏洞频繁爆发，且动不动就是RCE，
转载
2024-08-30 13:55:01
15阅读
一、效果图：二、需求说明：最近需要对节点到源站、办公环境访问业务平台网站质量和办公网络线路质量的监控，简单的ping可以检测到一些东西，但是http请求的检查也要进行，于是就研究了下pycurl。PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，PycURL 是一个非常快速（参考多并发操作）和丰
转载
2023-06-30 12:38:55
725阅读
好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的***成果，显示的是下
转载
2023-08-07 22:31:34
193阅读
python-自动化运维、办公、爬虫和娱乐作为一个会一些基本的办公自动化技术的老人，我想告诉大家一件最重要的事情： 你可以学办公自动化，可以学vba，Python，JavaScript，学各种东西都行，但千万记住一点：不要暴露自己的实力。 不要暴露自己的实力。不要暴露自己的实力！ 你可以一次合并2000个表格，但不要告诉别人这是你半个小时之内完成的。 要表现出自己是忙了一天才干完这几个项目的样子。
起因： 自己的MC服务器需要一个监控告警的小脚本优化： 以后优化一下，用阿里云服务进行部署代码实现：# !/usr/bin/python3
# -*- coding=utf-8 -*-
# @Author : 世界
# @file: PortMoni
转载
2023-08-06 13:05:52
132阅读
在做网页访问质量监控时，少不了使用到httpwatch这个工具。httpwatch能记录访问一个网页过程中发生的所有细节，包括网页里所有元素，从DNSlookup、网络连接到第一个数据包发送时间等等（如下图所示），都有详细记录，从而为我们查找问题提供了可视的方式。一般我们都是在出现问题时，就用它分析一下。但如果用它去长期跟跟踪一个网页的访问情况，然后记录入库，这些数据就可为分析问题提供一个基础
转载
2023-07-03 21:15:33
104阅读
本文并不是讲解爬虫的相关技术实现的，而是从实用性的角度，将抓取并存入 MongoDB 的数据 用 InfluxDB 进行处理，而后又通过 Grafana 将爬虫抓取数据情况通过酷炫的图形化界面展示出来。在开始之前，先对 Grafana 和 InfluxDB 做一下简要的介绍：Grafana：是一个开源的分析和监控系统，拥有精美的web UI，支持多种图表，可以展示influxdb中存储的数据，并且
转载
2023-09-29 12:57:51
359阅读
相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。1.成品图2. 环境InfluxDb，是目前比较流行的时间序列数据库；Grafana，一个可视化面板(Dashboard)，有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和O
转载
2023-08-02 15:44:05
67阅读
# Python读取网页信息
## 引言
在当今信息爆炸的时代，互联网成为了人们获取各种信息的主要途径。而对于开发者来说，获取网页上的信息也是一项非常重要的任务。Python作为一门功能强大且简洁易用的编程语言，提供了丰富的库和工具来实现这个目标。本文将介绍如何使用Python读取网页信息，包括网页请求、解析HTML等。
## 网页请求
要读取网页信息，首先需要发送HTTP请求。Pytho
原创
2023-09-07 13:43:20
112阅读
一年一度的“双十一”又要来了，很多人已经开始摩拳擦掌，毕竟几天之后手还在不在就不好说了。各种社交软件也是跟着遭殃，整天就是“来帮我一起盖楼”，各种字体绕过屏蔽，什么奇葩的脑洞也出来了： 不过也感谢这些电商平台，让多年未联系的好友、加过但没有对话的陌生人都找到了打破尴尬的话题。(让场面更加尴尬)月薪上万的白领们为了2块5毛钱的优惠券起早贪黑，也是堪称人类迷惑行为大赏了……问题是
import urllib.request
import http.cookiejar
url = 'http://www.baidu.com/'
# 方法一
print('方法一')
req_one = urllib.request.Request(url)
req_one.add_header('User-Agent', 'Mozilla/6.0')
res_one = urllib.re
转载
2023-06-21 11:00:12
174阅读
使用正则抓取使用正则匹配需要抓取的内容执行页面抓取。但是正则性能不好，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中。 #coding=utf-8
import urllib.request #python3
import re
def getHtml(url):
page = urllib.request.urlopen(url) #python3
html=pag
转载
2023-10-07 21:25:43
238阅读
# Python监控网页内容变化
随着互联网的发展，网页成为人们获取信息的重要途径之一。然而，有些时候我们希望能够及时地知道网页内容发生了变化，以便能够及时地采取行动。本文将介绍如何使用Python监控网页内容的变化，并在变化发生时发送通知。
## 网页内容监控原理
要监控网页内容的变化，我们需要定期获取网页的内容，然后将其与之前的内容进行比较。如果两者不一致，说明网页内容发生了变化。为了实
原创
2023-10-20 18:12:54
1684阅读
在一些公共场合，需要为公众提供一些公共查询的计算机，其实就是一些Windows计算机。我们希望使用计算机的人只使用浏览器打开某个指定的网页。在使用过程中，用户查询完毕之后，往往不主动关闭自己浏览过的网页，对于新来的用户来说造成一定的困扰。各个屏幕上花花绿绿，乱七八糟的信息，对于整个环境的整洁性来说，很不和谐。我们的解决把法就是，为浏览器设置默认主页。在用户新打开浏览器的时候，就会直接打开我们希望用
转载
2024-04-13 00:39:31
37阅读
