# coding=utf-8
from bs4 import BeautifulSoup #网页解析获取数据
import re#正则表达式。进行文字匹配
import urllib.request,urllib.error#制定URL ,获取网页数据
import xlwt#进行excle操作
import sqlite3#进行数据库操作
import urllib.request
import
转载
2024-07-11 13:42:03
110阅读
最近跟同学学习爬虫的时候看到网上有个帖子，好像是山大校园网不稳定，用py做了个模拟登陆很有趣，于是我走上了一条不归路.....先上一张校园网截图 首先弄清一下模拟登陆的原理：1：服务器判定浏览器登录使用浏览器标识，需要模拟登陆2: 需要post账号，密码，以及学校id python走起，我用的2.7版本，用notepad++写的，绑定python可以直接运行 由于是模
转载
2023-09-07 13:11:30
155阅读
时代在进步，也是在高等教育改革的背景下，教育信息化转型升级成为了重要课题，智慧校园建设成为教育发展的新兴高潮，也是在国家政策的支持下，智慧校园带来了数字校园的新风口。1. 提供便捷的生活服务智慧校园系统的开发，让校园生活里的线下服务也是得到了很大的改善，为老师和学生都提供了很大的便利，使用校园电子钱包，使校园支付一体化，可进行零售支付、水电餐费学费等费用的自助缴纳；通过身份验证后，用户能
# Python校园版：让编程走进校园
在如今的科技时代，编程已经成为一种重要的基础技能。为了帮助学生轻松上手编程语言，Python校园版应运而生。Python校园版是针对青少年及教育领域的Python编程工具，特意简化了复杂的编程概念，并提供了一系列便捷的功能，特别适合校园学习和实践。本文将介绍Python校园版及其应用，并提供一些实际代码示例。
## Python校园版的特点
1. **
目录效果展示一、发布页面1.1、整体页面样式1.1.1、上传图片或者视频事件1.1.2、选择用户当前位置 二、仿造微信朋友圈页面2.1.1、获取用户传入的经纬度并展示2.1.2、评论用户的朋友圈2.1.3、回复用户评论2.1.4、删除自己发布的朋友圈2.1.5、点赞朋友圈线上效果 之前学习写的一个校园跑腿小程序，其中有个页面是仿造微信朋友圈的，感觉还不错，今天就把它
转载
2024-01-20 16:39:42
62阅读
前言hello，大家好，我是大赛哥(弟)，好久不见，甚是想念。最近因为有小需求研究了两登录的加密，也成功解密加密的参数
原创
2022-12-12 22:27:21
4980阅读
点赞
# 用Python绘制校园图
在现代社会中，校园是学生们学习和成长的场所。为了更好地了解校园的布局和结构，我们可以使用Python编程语言来绘制校园图。
## 准备工作
在开始编写代码之前，我们需要安装Python的绘图库。这里我们选择使用`matplotlib`库来绘制图形。你可以使用以下命令来安装这个库：
```python
pip install matplotlib
```
##
原创
2023-07-31 10:17:23
427阅读
作为西电学子，众所周知教学楼B楼设计十分复杂，对于初来乍到的新生十分不友好。很多混迹了四年的老油条也不擅长人脑导航，只能遍历每一层顺序寻找一间类似B520编号的教室。如何快速找到将要上课的教室？刚好有选修同学急需代码实现，苦于楼层构造稍显复杂，我便担此大任，简单完成了B楼教室辅助导航的小程序。图与最短路算法首先，定义B楼的图类型。教室之间的连接形成的图是无向图，导航是区分方向的，因此需要保存相邻教
# 实现一个校园跑腿程序的指南
随着越来越多的校园生活需求，跑腿服务逐渐成为学生们重要的解决方案。本文将指导你如何用Python实现一个简单的校园跑腿程序。通过这个程序，学生可以发布脚本任务，而其他学生可以选择接单并完成。
## 1. 整体流程
在我们开始编码之前，让我们先梳理一下整个程序的流程。以下是一个简单的实现流程表。
| 步骤 | 描述
随着人工智能、物联网、VR/AR、下一代安全、大数据、3D打印、5G等新兴技术的崛起，企业的数字化转型进程飞速发展。政府从2018年起倡导的《教育信息化2.0行动计划》整体教育行业IT建设方向，彻底打破教育数字化转型的僵局。一部分先知的学校已经展开了一系列数字化转型工程，但大部分教育体系下学校的IT信息化系统还比较传统。面对众多学校校内应用无统一入口、教学模式停留传统、信息上下传达途径低效等数字化
背景我在的学校校园网登录是web式的，即随便打开一个网页就会自动跳转到登录页面，然后输入用户名密码，点登录，便可以上网了。但这种登录方式有个缺点：登录状态不会一直保持下去。即过一段时间就会掉线，然后你需要重新登陆才行。这个时间大概是一天。这就蛋疼了，想让实验室的电脑随时保持联网状态怎么办呢？（有时候我需要远程我的电脑）这个时候可以用python脚本解决这个问题！思路写一个死循环一直 ping 8.
转载
2023-07-04 22:01:56
215阅读
一、爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取信息的技术。 互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载这些有价值的信息的技术。 互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。 爬虫技术最开始来源于
转载
2023-07-30 12:49:00
338阅读
点赞
requests+selenium+scrapypython爬虫1、爬虫爬虫：通过编写程序，模拟浏览器上网，然后让去互联网上抓取数据的过程通用爬虫：抓取的是一整张页面数据聚焦爬虫：抓取的是页面中特定的局部内容增量式爬虫：只会抓取网站中最新更新出来的数据反爬机制：门户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取反反爬策略：破解门户网站中具备的反爬机制robot.txt协议：
转载
2023-11-18 20:18:00
5阅读
简单了解一下Python爬虫的基本概念和工作原理。 文章目录简单了解一下Python爬虫的基本概念和工作原理。前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络请求模拟用户操作，将获取到的网页数据解析并提取所需要的信息。爬虫可以帮助我们高效地获取海量数据，并进行相应的分析和处理。1、发送请求2、解析网页3、数据处理总结 前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络
转载
2023-07-19 13:53:41
210阅读
1.1爬虫的定义网络爬虫是一种按照一定的规则自动的抓取网络信息的程序或者脚本。简单的来说，网络爬虫就是根据一定的算法实现编程开发，主要通过URL实现数据的抓取和发掘。 随着大数据时代的发展，数据规模越来越庞大、数据类型繁多，但是数据价值普遍比较低，为了从庞大的数据体系中获取有价值的数据，从而延伸了网络爬虫、数据分析等多个职位。近几年，网络爬虫的需求更是井喷式的爆发，在招聘的供求市场上往往是供不应求
转载
2023-08-22 21:54:22
87阅读
文章更新于：2020-02-18注：python 爬虫当然要安装 python，如何安装参见：python 的安装使用和基本语法一、什么是网络爬虫网络爬虫就是用代码模拟人类去访问网站以获取我们想要信息。由于代码模拟的速度和效率很高，所以可以批量和动态获取我们想要的信息。比如抢票软件就是一直用代码访问12306网站获取余票信息，一有余票立马使用代码进行模拟购买。二、网络爬虫的分类通用网络爬虫。又称全
转载
2024-01-25 15:34:46
135阅读
爬虫简介网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入
转载
2023-08-30 07:56:51
122阅读
爬虫呢？本质上说来其实就是模仿用户，到浏览器上抓取信息的一种手段。其实每个网站或多或少的有放爬虫意识，只是强不强得问题。在前面的介绍中，我们有伪装自己的请求代理，去访问某个网址，这其实也是一种反防爬虫手段。不过呢？这只是最低级的手段，下面呢，将介绍五种反爬虫的常见手段。 1、IP地址验证 有些网站会使用IP地址验证来处理爬虫程序，其原理是什么呢?网站程序检查客户端的IP地址，如果发现一个IP地址
转载
2023-08-12 06:30:18
491阅读
我们没有得到正确的结果，因为任何javascript生成的内容都需要在DOM上呈现。当我们获取一个HTML页面时，我们获取初始的、未经javascript修改的DOM。因此，我们需要在抓取页面之前呈现javascript内容。由于在这个线程中已经多次提到Selenium(有时还提到了它的速度)，我将列出另外两个可能的解决方案。解决方案1：这是一个非常好的教程如何使用Scrapy爬行javascri
转载
2023-10-04 10:06:10
171阅读
网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。
原创
2019-10-09 11:28:21
997阅读
点赞
1评论
