一、辅助工具BeautifulSoup 库 :一款优秀的HTML/XML解析库,采用来做爬虫,不用考虑编码,还有中日韩文的文档,其社区活跃度之高,可见一斑。[注] 这个在解析的时候需要一个解析器,在文档中可以看到,推荐lxml               Requests 库:一款比较好用的HTTP库,当然python自带有urllib以及urllib2等库。            Fiddler
转载 2023-08-15 09:51:54
25阅读
Paramikoimport paramiko private_key = paramiko.RSAKey.from_private_key_file('/home/auto/.ssh/id_rsa') # 创建SSH对象ssh = paramiko.SSHClient()# 允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_poli
原创 2017-10-31 13:49:02
2114阅读
# 如何实现Python CMDB采集虚拟机 ## 整体流程 首先,让我们来看一下整件事情的流程。我们将分为几个步骤来实现Python CMDB采集虚拟机的功能。下面是一个简单的表格展示: | 步骤 | 描述 | |------|---------------------| | 1 | 连接到虚拟机管理系统 | | 2 | 获取虚拟机列表 |
原创 2024-02-25 04:55:36
73阅读
一. 四种方式 1. Agent方式 ####server from django.shortcuts import render,HttpResponse # Create your views here. def asset(request): if request.method == "POS
原创 2021-05-11 16:31:50
938阅读
今天在网上看了一部小说,明明是很早以前的小说,换个名字,居然要付费了,很不开心;通过强大的百度,我找到了原始版本,本来很开心了,奈何不能下载,眼睛很辛苦,我本意是下下来拿到手机上朗读的,没办法只能自己动手采集下来了;import urllib.requestimport re啥也不说,先把需要的包给列出来。我们的命名尽量用规范化操作,这样自己养成好习惯,别人看起来也容易理解;业内管这玩意叫驼峰命名
本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫,爬虫运行只需要输入相应店铺的域名名称即可,信息将以csv表格的形式保存,可以单店爬取也可以增加一个循环进行同时爬取。源码展示首先还是完整代码展示,后面会分解每个函数的意义。# -*- coding: utf-8 -*- import requests import json import csv import random import
转载 2023-05-27 09:38:32
150阅读
监控信息脚本使用了psutil、schedule,废话不多说直接上代码考虑到监控信息的数据并不需要持久化,于是选择把监控数据存入到redis中,从redis中读取监控数据进行web展示即可 1 import psutil 2 import socket 3 import redis 4 import schedule 5 import logging 6 import
转载 2023-06-26 13:28:45
89阅读
前言:之所以叫网络爬虫(Web crawler)是因为它们可以沿着网络爬行。它们的本质就是一种递归方式。为了找到 URL 链接,它们必须首先获取网页内容,检查这个页面的内容,再寻找另一个 URL,然后获取 URL 对应的网页内容,不断循环这一过程。1 遍历单个域名示例:写一段获取维基百科网站的任何页面并提取页面链接的 Python 代码from urllib.request import urlo
Python 网络爬虫与数据采集第1章 序章 网络爬虫基础1 爬虫基本概述1.1 爬虫是什么1.2 爬虫可以做什么1.3 爬虫的分类1.4 爬虫的基本流程1.4.1 浏览网页的流程1.4.2 爬虫的基本流程1.5 爬虫与反爬虫1.5.1 爬虫的攻与防1.5.2 常见的反爬与反反爬1.6 爬虫的合法性与 robots 协议1.6.1 robots 协议1.6.2 查看网页的 robots 协议1.
本节内容 浅谈ITIL CMDB介绍 Django自定义用户认证 Restful 规范 资产管理功能开发 1.浅谈ITIL T
原创 2023-05-29 09:40:27
273阅读
网络爬虫就像小蜜蜂,它飞到花(目标网页)上,采集花粉(需要的信息),经过处理(数据清洗、存储)变成蜂蜜(可用的数据) 有时候API能够满足我们的需求,但是很多时候你需要的 API 并不存在,即使 API 已经存在,可能还会有请求内容和次数限制,API 能够提供的数据类型或者数据格式可能也无法满足你的需求,这时网络数据采集就派上用场了. 1.网络爬虫初见浏览器获取信息的过程:Bo
# Python采集Linux信息教程 ## 目标 本教程旨在教会刚入行的开发者如何使用Python采集Linux信息。 ## 整体流程 以下是整个流程的步骤概述: ```mermaid flowchart TD A[准备工作] B[连接到Linux服务器] C[执行命令获取信息] D[解析和处理信息] E[保存和展示信息] ``` ## 详细步骤
原创 2023-10-22 06:23:04
45阅读
## Python编写CMDB流程 ### 1. 了解需求和目标 在开始编写一个CMDB(Configuration Management Database)之前,首先需要了解具体的需求和目标。CMDB是一个用于存储和管理IT基础设施配置信息的数据库,通常用于跟踪和记录系统的配置变化和状态。 ### 2. 确定数据模型 在实现CMDB之前,需要确定数据库中存储的数据模型。数据模型包括系统、
原创 2023-10-20 10:53:02
51阅读
# Python开发CMDB系统 CMDB(Configuration Management Database)是配置管理数据库的简称,它是一个用于存储和管理IT基础设施的配置信息的数据库。在IT运维管理中,CMDB起着至关重要的作用,它可以帮助我们更好地了解和管理IT资源。 本文将介绍如何使用Python开发一个简单的CMDB系统。我们将使用Python的Flask框架来构建Web应用,并使
原创 2024-07-21 10:35:15
68阅读
# PythonCMDB系统 ## 介绍 CMDB(Configuration Management Database)是指配置管理数据库,用于记录和管理计算机系统中的配置项信息和相关资源。在IT运维管理中,CMDB扮演着非常重要的角色,可以帮助管理员实时追踪和管理系统的配置信息,提高运维效率和系统稳定性。本文将介绍如何使用Python编写一个简单的CMDB系统,并提供相应的代码示例。 #
原创 2023-09-07 13:19:01
72阅读
CMDB 资产采集的方案总共有四种·      Agent·      SSH类·      Saltstack·      Puttet方案设计,从性能上考虑下面前三种是用Python开发的,目标是兼容三种采集方式的软件原理要明
原创 2018-11-26 15:28:00
704阅读
1点赞
在现代的IT运维管理中,CMDB(Configuration Management Database)和Ansible工具是非常重要的环节。而用Python编写的CMDB和Ansible的结合使用,可以更加高效地管理和自动化配置信息。 首先,让我们先了解一下CMDB的基本概念。CMDB是一种用于存储和跟踪IT系统中各种配置项(CI)信息的数据库。这些配置项包括硬件设备、软件组件、网络信息等等。通
原创 2024-03-22 09:54:04
145阅读
# Python CMDB系统 ## 什么是CMDB系统? CMDB(Configuration Management Database)中文名为配置管理数据库,是一种用于管理IT基础设施配置信息的系统。CMDB系统帮助管理者记录、控制和追踪IT资源的配置信息。通过CMDB系统,管理者可以了解每个配置项的属性和关联关系,方便进行IT资源的资产管理、变更管理、问题管理等。 ## 为什么选择Py
原创 2023-09-08 04:26:41
139阅读
企业信息采集,不懂技术的编程人员怎么快速采集企业信息。相信很多人多多少少知道一些采集软件,也用过一些企业信息采集软件,但是很多都需要自己写代码以及规则。但是对于没编程技术的人员来说很难上手。今天给大家分享一款免费可视化的企业信息采集工具,只需要输入目标站信息,可视化选择采集内容,点击采集。整个过程就是如此简单,详细参考图片。很多网络公司在网站制造中没有思索到各个方面的要素,比方SEO优化要素。企业
# Python开发CMDB(配置管理数据库)的指南 在技术快速发展的今天,越来越多的企业意识到管理其IT资产的重要性。 CMDB(配置管理数据库)是支持IT服务管理的一个关键组成部分,本文将指导你如何使用Python开发一个简单的CMDB。 ## 整体流程 以下是开发CMDB的主要步骤: | 步骤 | 描述 | |------|------| | 1 | 需求分析 | | 2
原创 2024-09-04 06:46:32
44阅读
  • 1
  • 2
  • 3
  • 4
  • 5