目的：手头有一份《学校名称.xlsx》的表格。想要这些学校的英文名称、描述、简称学校名称.xlsx 最终成果步骤1：分析所需要的学校信息，一般在百度百科里都有。所以先看看百度百科的数据能不能满足我们的要求。先抽样找一个学校到百度百科看看情况拿北京大学来说：英文名称、描述、简称都可以在这一个界面中获取到。然后所有的信息，在页面源码中也能看得到。所以理论上我们把这个页面的信息爬下来之后，做简
转载
2023-11-21 20:53:02
235阅读
背景：某学校图书馆为了防止占位，新出来一个软件，用于软件预约坐位，就想写个定时软件来每天预约坐位，把软件要来看看怎么实现。这个软件可能刚上线所以很多逻辑有bug，直接返回json包含了所有信息，而且软件默认为学生号后六位登陆。代码实现用python，多进程+协程处理。 抓包：打开Fiddler抓包，这个就不教程了，如图一，直接抓po
转载
2024-02-15 15:28:32
67阅读
目录 前言 一、爬虫是什么？ 二、简要介绍要使用的库1. urllib 库2.BeautifulSoup 库三、爬取的完整代码 总结前言本文是作者学习爬虫内容后进行的一次实战并总结，也只是总
转载
2024-10-29 09:40:14
116阅读
大家好，这里是为代码封神的封神榜（有点吹牛皮了，哈哈）。还是新人初来乍到，希望大家多多指教。本系列呢，是为大家带来的是一些爬虫小项目，希望大家能够喜欢，多多支持。1 爬取职位信息确定爬取的思路该项目里爬取的都是江苏省高校，并且不止一个。爬取数据的入口是江苏省的某就业平台（http://www.91job.org.cn/default/schoollist）该页面收录了江苏省各市 160 多所高校的
转载
2023-08-24 15:23:44
60阅读
1、中国大学排名定向爬虫”实例介绍背景：由上海软科高等教育评价，每年对会进行最好大学、最好学科等排名功能描述：输入：大学排名URL链接输出：大学排名信息的屏幕输出（排名，大学名称，总分）技术路线：requests‐bs4定向爬虫：仅对输入URL进行爬取，不扩展爬取定向爬虫可行性程序的结构设计：步骤1：从网络上获取大学排名网页内容——getHTMLText()步骤2：提取网页内容中信息到合适的数
转载
2024-01-20 19:48:07
290阅读
import json
import numpy as np
import pandas as pd
import requests
import os
import time
import random
class School:
school_id:""
type:""
name:""
province_name:""
city_name:""
由于官网信息中，2015-2017的数据是存放在一个页面，而2018、2019的数据都是单独的页面，相对规律一些，所以我们今天就来获取2018-2019的信息。0X00、准备工作安装标准库lxml、requests、re、requests.exceptions、os和openpyxl。 0X01、页面分析首先进去是这样的页面： 标题2018年各省(市、区)分专业录取情况统计表（理工）是这样的： 而
转载
2024-03-08 14:13:40
336阅读
# Python 爬取高校排名指南
在这篇文章中，我们将学习如何使用 Python 爬取高校排名的信息。这是一个实践性的项目，可以帮助你巩固对 Python 爬虫的理解。我们将分步骤进行，逐步实现目标。
## 整体流程
我们将这个过程分为以下几个步骤：
| 步骤 | 说明 |
| ------ | -----------------
目录：想法准备工作程序匹配我们要获取的信息自动翻页代码将获取到的数据保存到文件中源代码 想法上了一节就业课程，突然发现要毕业了，从来没有关注过学校的就业信息。突然冒出一个想法，爬一下学校的就业信息网吧，了解一下信息，就写了这个程序。网页结构比较简单。 各位6月份马上要毕业但是考研没过初始线的同学们，现在就要开始找工作了，希望这个能帮助你。准备工作图片中的职位信息就是要获取的内容。 包括：发布日期
转载
2024-07-06 13:18:53
88阅读
文章目录写在前面分析HTML代码后续的消息推送 写在前面这个不困难，用到两个库。requests库，用来发起get请求获得目标HTML。bs4，用来解析HTML获取想要的信息。两个库都是第三方的，所以需要对应下载。可以直接命令行使用pippip install requests
pip install bs4如果用的pycharm，也可以直接点击左上角"File",“Settings”，然后找到
转载
2023-06-19 21:09:29
491阅读
1. 结果图2. 这次爬取的网址请点击传送门3. 在该网址选择查院校，其他都是默认4. 这次爬取的信息主要是下图红框的内容，在浏览器开发者中，点击XHR就可以发现这个接口，接口的内容都有我们需要的信息。5. 先构建请求头，请求头直接复制过来了# 构建请求头
headers = {
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate'
转载
2024-01-30 20:26:50
506阅读
1.此操作的实现需要引入 requests库与 bs4中的BeautifulSoup库2.我们这次爬取网页 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html 的排名信息3.打开源代码，发现我们要爬取的所有学校信息（排名、学校名称、总分）均包含在 tbody 标签下，而tbody的子标签tr标签包含了一所学校的全部信息，tr标签下的多个td标
转载
2023-07-04 19:38:20
259阅读
基本开发环境?Python 3.6Pycharm相关模块的使用?requestsparselcsvre安装Python并添加到环境变量，pip安装需要的相关模块即可。一、?明确需求爬取内容：招聘标题公司薪资城市区域工作经验要求、学历要求、招聘人数、发布时间、公司福利岗位职责、任职要求二、?请求网页，先获取所有招聘信息的详情url地址 使用开发者工具发现网页加载出来的内容是乱代码的，这也意味着等会再
转载
2023-12-04 20:36:55
226阅读
新手，整个程序还有很多瑕疵。1.房源访问的网址为城市的拼音+后面统一的地址。需要用到xpinyin库2.用了2种解析网页数据的库bs4和xpath（先学习的bs4，学了xpath后部分代码改成xpath）遇到的问题：1.在解析页面时，鼠标点击过位置的div的class属性值有变化，没有注意，导致浪费很长时间。下图，点击后的div的class属性值的空格没有了。 2.基础学习还要加强，字符
转载
2023-08-14 13:10:28
237阅读
自己在刚学习python时写的，中途遇到很多问题，查了很多资料，下面就是我爬取租房信息的代码：链家的房租网站两个导入的包1.requests 用来过去网页内容 2.BeautifulSoupimport time
import pymssql
import requests
from bs4 import BeautifulSoup
# https://wh.lianjia.com/zufang
转载
2023-06-16 02:48:11
332阅读
前言 上一篇文章讲到了哪些情况下通过爬虫采集内容是有法律风险的，当我们知道法律了法律风险后，又怎么样在工作中避免法律风险呢？今天主要介绍一下当我们在爬虫过程中遇到法律风险的时候怎么处理。方案 当我们采集内容的时候，可以可根据自身经验对法律风险级别做个预判，可把法律风险等级分为高、中、低。 法律风险高 1.因为站点程序漏洞，通过漏洞对站点隐私数据采集。 2.与金钱相关的数据；如:用户的交易数
转载
2024-05-28 13:27:05
55阅读
Python作业2：scrapy爬取链家+数据预处理一、爬取数据并预处理1、要求作业1：通过爬虫爬取链家的新房数据，并进行预处理。最终的csv文件，应包括以下字段：名称，地理位置（3个字段分别存储），房型（只保留最小房型），面积（按照最小值），总价（万元，整数），均价（万元，保留小数点后4位）；对于所有字符串字段，要求去掉所有的前后空格；如果有缺失数据，不用填充。找出总价最贵和最便宜的房子，以及总
转载
2023-07-30 23:07:19
288阅读
文章目录1 正则表达式2 网页文本爬取2.1 单页文本2.2 多页文本2.2.1 演示文本2.2.2 文本信息获取3 实战记录3.1 网页纯文本处理3.1.1 常规网页3.1.2 隐藏域3.2 数据存储3.2.1 csv文件3.2.2 excel文件4 问题记录 1 正则表达式修饰符描述re.I使匹配对大小写不敏感re.M多行匹配，影响 ^ 和 $re.S使 . 匹配包括换行在内的所有字符re.
转载
2024-06-29 19:07:04
26阅读
用Python进行爬取网页文字的代码：#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import re
# 下载一个网页
# 模拟浏览器发送http请求
response= requests.get(url)
# 编码方式
response.encoding='utf-8'
# 目标小说主页的网页源码
html= respons
转载
2023-06-28 18:55:53
134阅读
作者：J哥项目背景大家好，我是J哥。新房数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要准备。今天J哥以「惠民之家」为例，手把手教你利用Python将惠州市新房数据批量抓取下来，共采集到近千个楼盘，包含楼盘名称、销售价格、主力户型、开盘时间、容积率、绿化率等「41个字段」。数据预览如下：后台回复「新房」二字，可
转载
2024-01-01 22:11:40
76阅读
