Python爬虫练习
- 一、爬虫简介
- 1. 介绍
- 2. 软件配置
- 二、爬取南阳理工OJ题目
- 三、爬取学校信息通知
- 四、总结
- 五、参考
一、爬虫简介
1. 介绍
网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
- 爬虫从初始网页的url开始, 不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停止。
- 可以为搜素引擎从互联网中下载网页数据,是搜素引擎的重要组成部分。
2. 软件配置
python 3.8
pip install requests
pip install beautifulsoup4
安装必备爬虫环境软件
二、爬取南阳理工OJ题目
- 页面分析
切换页面的时候url网址发生变动,因此切换页面时切换第n页则为n.html
- 爬取数据
根据页面数据显示可以查看到只有题号、难度、标题、通过率、存有数据,因此只需要对此四项数据进行爬取
- 查看html代码
F12查看网络源代码在每一个标签内都是<tr><td></td></tr>
使用嵌套模式,因此可以使用爬虫进行爬取 - 查看标签数,确定需爬虫数据
Ctrl+F 查看<tr><td>标签数
此页面内含有700
标签,因此需要爬出去数据为700
- 代码编写
- 导入相应的包
#导入包
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm#在电脑终端上显示进度,使代码可视化进度加快
- 定义访问浏览器所需的请求头和写入csv文件需要的表头及存储列表
# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
# 题目数据
subjects = []
# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
- 定义爬取函数,并删选信息
for pages in tqdm(range(1, 11 + 1)):
r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
r.raise_for_status()
r.encoding = 'utf-8'
soup = BeautifulSoup(r.text, 'html5lib')
td = soup.find_all('td')#讲所有含TD的项提取出来
subject = []
for t in td:
if t.string is not None:
#利用string方法获取其中的内容
subject.append(t.string)
if len(subject) == 5:
subjects.append(subject)
subject = []
- 写入文件
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(csvHeaders) # 写入表头
fileWriter.writerows(subjects) # 写入数据
print('\n题目信息爬取完成!!!')
- 程序运行
三、爬取学校信息通知
- 网页分析
- 页面跳转,查看新闻信息
可以看到在html跳转采用 n-方式 因为为n-.html
- 爬取数据
日期+新闻题目
- 查看网页代码
标签信息存储来<ul><li></li></ul>
- 数据条数987
- 代码编写
- 导入相应的包
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm#在电脑终端上显示进度,使代码可视化进度加快
- 爬取调用数据定义
# 模拟浏览器访问
cqjtu_Headers ={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
}
#csv的表头
cqjtu_head=["日期","标题"]
#存放内容
cqjtu_infomation=[]
- 爬取html的页面内容
def get_one_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
try:
info_list_page = [] # 一页的所有信息
resp = requests.get(url, headers=headers)
resp.encoding = resp.status_code
page_text = resp.text
soup = BeautifulSoup(page_text, 'lxml')
li_list = soup.select('.left-list > ul > li') # 找到所有li标签
for li in li_list:
divs = li.select('div')
date = divs[0].string.strip()
title = divs[1].a.string
info = [date, title]
info_list_page.append(info)
except Exception as e:
print('爬取' + url + '错误')
print(e)
return None
else:
resp.close()
print('爬取' + url + '成功')
return info_list_page
- 爬取数据并保存在文件中
# main
def main():
# 爬取所有数据
info_list_all = []
base_url = 'http://news.cqjtu.edu.cn/xxtz/'
for i in range(1, 67):
if i == 1:
url = 'http://news.cqjtu.edu.cn/xxtz.htm'
else:
url = base_url + str(67 - i) + '.htm'
info_list_page = get_one_page(url)
info_list_all += info_list_page
# 存入数据
with open('教务新闻.csv', 'w', newline='', encoding='utf-8') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(['日期', '标题']) # 写入表头
fileWriter.writerows(info_list_all) # 写入数据
- 运行结果
四、总结
- 在数据解析⽅⾯,相应的库包括:lxml、beautifulsoup4、re、pyquery。
- 对于数据解析,主要是从响应页面里提取所需的数据,常⽤⽅法有:xpath路径表达式、CSS选择器、正则表达式等。
- 正则表达式主要⽤于提取非结构化的数据