python3爬取天气数据 python爬取天气预报

学会了爬虫，让我们自制一个天气预报的爬虫吧！

需求分析

1、用 requests 爬取 全国天气网 的网页源代码；

2、用 pyquery 解析网页源代码，取得天气情况信息的节点；

3、用 xlwt 将信息保存到本地 Excel 文件。

实现过程

第一步：导入库

import requests
from pyquery import PyQuery as pq
import xlwt

第二步：获取网页源代码；

html = requests.get('https://tianqi.so.com/weather/').text

第三步：解析网页，查找到包含天气信息的节点；

html = pq(html)
datas = html.find('ul.weather-columns li div').items()

但我们发现，每个 li 节点中的第 1 个 div 节点是没有内容的，第 3 个 div 节点显示天气图标，而我们并不需要这个；

因此，我们只需要获取第 2、4、5、6、7 个 div 节点的信息。

这些节点中分别储存着 日期、天气、温度、空气质量、风向及风速。

datas = [r.text() for r in datas if r.text() != '']

Python 3.8 及以上的小朋友可以这样写：

datas = [t for r in datas if (t := r.text()) != '']

Python 3.8 新增的语法 := 可在表达式内部为变量赋值。详情见 Python3.8的新特性。

第四步：储存在本地 Excel 文件

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气', cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i // 5, i % 5, r)

# 保存工作表
wb.save('广州 15日天气.xls')

成果展示

完整代码

import requests
from pyquery import PyQuery as pq
import xlwt

# 获取网页源代码
html = requests.get('https://tianqi.so.com/weather/').text

# 解析网页
html = pq(html)
datas = html.find('ul.weather-columns li div').items()

# 去除空白信息
datas = [r.text() for r in datas if r.text() != '']

# 将表头和内容合并
table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas

# 新建工作簿
wb = xlwt.Workbook(encoding='utf-8')

# 新建工作表
ws = wb.add_sheet('广州 15日天气',cell_overwrite_ok=True)

# 填入内容
for i, r in enumerate(table):
    ws.write(i//5,i%5,r)

# 保存工作表
wb.save('广州 15日天气.xls')

— End —

感谢阅读！
点个赞，支持一下作者吧！