爬虫的四个步骤0.获取数据——爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。 1.解析数据——爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 2.提取数据——爬虫程序再从中提取出我们需要的数据。 3.储存数据——爬虫程序把这些有用的数据保存起来。获取数据——requests库requests库可以帮我们下载网页源代码、文本、图片甚至是音频。 “下载”本质上是向服务器发送请求并
转载
2023-12-21 10:33:25
34阅读
Python-简单的爬虫语句
今天做一个简单的天气查询的程序，主要用到Urllib2（python自带的），和Json（Java Script Object Notation，JavaScript 对象表示法），安装步骤：
json的安装包在这里：https://www.lfd.uci.edu/~gohlke/pythonlibs/#simplejso
转载
2023-08-15 23:32:40
61阅读
目的：手头有一份《学校名称.xlsx》的表格。想要这些学校的英文名称、描述、简称学校名称.xlsx 最终成果步骤1：分析所需要的学校信息，一般在百度百科里都有。所以先看看百度百科的数据能不能满足我们的要求。先抽样找一个学校到百度百科看看情况拿北京大学来说：英文名称、描述、简称都可以在这一个界面中获取到。然后所有的信息，在页面源码中也能看得到。所以理论上我们把这个页面的信息爬下来之后，做简
转载
2023-11-21 20:53:02
235阅读
基于PHP的在线高校资产管理系统,是根据在校期间所学习的计算机开发知识开发而成。主要的研究目的是一方面,根据实际需求开发出一个高效稳定的高校资产管理平台,去处理日常工作中产生的大量资产,优化传统高校资产管理方式的弊端。另一方面,将此系统作为自己的毕业设计检验自己在校期间对基础知识的把握程度 （1）创建不同的管理角色访问本系统，并根据不同的管理角色提供不同的访问权限； （2）用户登录系统时提供相应的
转载
2023-10-26 16:37:57
47阅读
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017/11/21 0021 16:01
# @Author : ming
""&quo
原创
2017-10-24 17:01:43
950阅读
网络信息安全管理是指对网络资产采取合适的安全措施，以确保网络资产的可用性、完整性、可控制性和抗抵赖性，不致因网络设备、网络通信协议、网络服务、网络管理受到人为和自然因素的危害，而导致网络中断、信息泄露或破坏。网络信息管理对象主要包括网络设备、网络通信协议、网络操作系统、网络服务、安全网络管理等在内的所有支持网络系统运行的软、硬件总和。网络信息安全管理的目标就是通过适当的安全防范措施，保障网络的运行
转载
2023-09-25 13:50:30
68阅读
背景：某学校图书馆为了防止占位，新出来一个软件，用于软件预约坐位，就想写个定时软件来每天预约坐位，把软件要来看看怎么实现。这个软件可能刚上线所以很多逻辑有bug，直接返回json包含了所有信息，而且软件默认为学生号后六位登陆。代码实现用python，多进程+协程处理。 抓包：打开Fiddler抓包，这个就不教程了，如图一，直接抓po
转载
2024-02-15 15:28:32
67阅读
基本开发环境?Python 3.6Pycharm相关模块的使用?requestsparselcsvre安装Python并添加到环境变量，pip安装需要的相关模块即可。一、?明确需求爬取内容：招聘标题公司薪资城市区域工作经验要求、学历要求、招聘人数、发布时间、公司福利岗位职责、任职要求二、?请求网页，先获取所有招聘信息的详情url地址 使用开发者工具发现网页加载出来的内容是乱代码的，这也意味着等会再
转载
2023-12-04 20:36:55
226阅读
简单的知乎用户信息爬取。
用到python3.5，mysql数据库，需要自行准备好环境
代码在windows上测试成功（没钱买mac，逃）
插入数据库时，写了两个版本，一个正常查询，一个协程查询（主要比较看看这两者的性能如何）
由于是个python渣，代码
转载
2023-11-01 17:31:28
162阅读
自己在刚学习python时写的，中途遇到很多问题，查了很多资料，下面就是我爬取租房信息的代码：链家的房租网站两个导入的包1.requests 用来过去网页内容 2.BeautifulSoupimport time
import pymssql
import requests
from bs4 import BeautifulSoup
# https://wh.lianjia.com/zufang
转载
2023-06-16 02:48:11
332阅读
简单的知乎用户信息爬取。
用到python3.5，mysql数据库，需要自行准备好环境
代码在windows上测试成功（没钱买mac，逃）
插入数据库时，写了两个版本，一个正常查询，一个协程查询（主要比较看看这两者的性能如何）
由于是个python渣，代码
转载
2023-11-01 17:31:28
47阅读
新手，整个程序还有很多瑕疵。1.房源访问的网址为城市的拼音+后面统一的地址。需要用到xpinyin库2.用了2种解析网页数据的库bs4和xpath（先学习的bs4，学了xpath后部分代码改成xpath）遇到的问题：1.在解析页面时，鼠标点击过位置的div的class属性值有变化，没有注意，导致浪费很长时间。下图，点击后的div的class属性值的空格没有了。 2.基础学习还要加强，字符
转载
2023-08-14 13:10:28
237阅读
一、提出问题经过前两期文章的分析，我们基本理清了思路——通过爬虫软件获取天天基金网、好买基金网的公募基金数据，最终找到以下问题的答案。找出3年中最具投资价值的基金找出3年中风控最好的基金公司二、数据获取2.1爬虫软件八爪鱼介绍本次使用的爬虫软件名字叫八爪鱼采集器，下载地址http://www.bazhuayu.com/。不需要任何爬虫知识和基础，只要给它设定好路径后便可以自动爬取数据
转载
2023-10-11 20:25:39
23阅读
前言最近工作中遇到一个需求，需要将京东上图书的图片下载下来，假如我们想把京东商城图书类的图片类商品图片全部下载到本地，通过手工复制粘贴将是一项非常庞大的工程，此时，可以用Python网络爬虫实现，这类爬虫称为图片爬虫，接下来，我们将实现该爬虫。实现分析首先，打开要爬取的第一个网页，这个网页将作为要爬取的起始页面。我们打开京东，选择图书分类，由于图书所有种类的图书有很多，我们选择爬取所有编程语言的图
转载
2024-06-05 04:19:56
79阅读
1.1信息收集概述分类1.2 shodan 搜索引擎使用方法1.3google 搜索引擎使用方法1.4Maltego 收集子域名信息141.5FOFA搜索引擎使用方法1.1.1信息收集分类信息收集分为两类:主动信息收集:需要与目标机器进行直的交互,缺点:容易被目标机器记录操作信息或者屏蔽，比如:nmapScapy被动信息收集:不需要与目标机器进行交互，主要利用第三站点或渠道来进行信息的收集，比如:
原创
2023-04-07 17:45:24
157阅读
Web源码泄露的漏洞：以下漏洞都是在获取不到源码的情况下使用的 网站备份压缩文件泄露：因为网站管理员不好的备份习惯导致源码泄露 管理员网址www.Xiaoheizi.fun 网站代码文件夹路径：C:\www\www.Xiaoheizi.fun 如果在C:\www\www.Xiaoheizi.f
原创
2023-11-07 07:58:20
132阅读
# 使用Python读取交换机资产信息
在现代网络架构中，交换机是连接不同设备的重要组成部分。管理和监控这些交换机的资产信息，对于维护网络的安全性和稳定性至关重要。而我们可以借助Python的强大功能，以自动化的方式获取这些信息，极大地提高工作效率。
## 读取交换机信息
我们可以使用Python的`paramiko`模块通过SSH协议连接到交换机，从而获取其资产信息。下面是一个基本的代码示
前言 上一篇文章讲到了哪些情况下通过爬虫采集内容是有法律风险的，当我们知道法律了法律风险后，又怎么样在工作中避免法律风险呢？今天主要介绍一下当我们在爬虫过程中遇到法律风险的时候怎么处理。方案 当我们采集内容的时候，可以可根据自身经验对法律风险级别做个预判，可把法律风险等级分为高、中、低。 法律风险高 1.因为站点程序漏洞，通过漏洞对站点隐私数据采集。 2.与金钱相关的数据；如:用户的交易数
转载
2024-05-28 13:27:05
55阅读
# Python爬取终端信息
在日常生活和工作中，我们经常需要获取终端的各种信息，例如CPU使用率、内存占用等。而Python作为一门强大的编程语言，通过爬取终端信息，可以为我们提供便捷的数据分析和监控手段。本文将介绍如何使用Python爬取终端信息，并展示如何使用饼状图来可视化终端信息。
## 爬取终端信息的工具
在Python中，我们可以使用psutil库来获取终端的各种信息。psuti
原创
2024-01-03 07:54:14
77阅读
# Python爬取网页信息的流程
## 1. 准备工作
在开始爬取网页信息之前，需要安装Python并安装相关的第三方库，如`requests`和`BeautifulSoup`。可以使用以下代码安装这两个库：
```python
pip install requests
pip install beautifulsoup4
```
## 2. 发起网络请求
使用`requests`库可
原创
2023-07-22 04:57:10
68阅读
