java爬取天气网站案例 python爬取天气预报

和风天气会提供一个API接口，方便其他的开发人员或者是学生，之前做手机APP的时候就使用过，现在回头看数据爬虫的东西，发现之前的接口已经不能用了，好可惜啊。

虽然不能连接，但是展示下思路吧。

1.首先获取所有城市的ID

在https://dev.heweather.com/docs/refer/city下载中国城市的csv文件，运行下面这段代码可以提取所有城市ID：（要去除文件的第一行）

import pandas as pd
df = pd.read_csv('china-city-list.csv')

for item in df['City_ID']:
    print(item)

　　

2.完成了城市编码的提取后，下一步就是调用接口获取数据，代码如下：

import requests
import time
import pandas as pd
df = pd.read_csv('china-city-list.csv')
for item in df['City_ID']:
    url = 'https://free-api.heweather.net/s6/weather/now?location=' +item+ '&key=1f0ed5e276a04402bc761d764d8f7cc8'

    strhtml = requests.get(url)
    strhtml.encoding = 'utf8'
    time.sleep(1)

　　

3.存储数据到MongoDB

import requests
import pymongo
import pandas as pd
# 建立链接,其中localhost是主机名，2017是端口号（默认情况下是这个参数）
client = pymongo.MongoClient('localhost', 27017)
# 新建名为'weather'的数据库
book_weather = client['weather']
# 新建名为'sheet_weather_3'的表
sheet_weather = book_weather['sheet_weather_3']
df = pd.read_csv('china-city-list.csv')
for item in df['City_ID']:
    url = 'https://free-api.heweather.net/s6/weather/now?location=' +item+ '&key=1f0ed5e276a04402bc761d764d8f7cc8'
    strhtml = requests.get(url)
    strhtml.encoding = 'utf8'
    # requests库返回的数据可以编码成JSON格式的数据
    dic = strhtml.json()
    # 写入数据
    sheet_weather.insert_one(dic)

　　

MongoDB里没有数据啊。

 

 4.MongoDB查询数据

4.1 查找键 HeWeather6.basic.location 值为北京的数据

import pymongo
client = pymongo.MongoClient('localhost', 27017)
book_weather = client['weather']
sheet_weather = book_weather['sheet_weather_3']
for item in sheet_weather.find({'HeWeather6.basic.location':"北京"}):
    print(item)

　　

4.2 查询最低气温大于5度的城市，代码如下：

import pymongo
client = pymongo.MongoClient('localhost', 27017)
book_weather = client['weather']
sheet_weather = book_weather['sheet_weather_3']
for item in sheet_weather.find():
    tmp = item['HeWeather6'][0]['now']['tmp']['min']
    # 将表中的气温数据修改为数值型
    sheet_weather.update_one({'_id':item['_id']},{'$set':{'HeWeather6.0.now.tmp':int(tmp)}})
    # 提取表中最低气温高于5摄氏度的城市
for item in sheet_weather.find({'HeWeather6.0.now.tmp':{'$gt':5}}):
    print(item['HeWeather6'][0]['basic']['city'])

　　

4.3 查询三天里，天气最低温大于5度的城市，代码如下：

import pymongo
client = pymongo.MongoClient('localhost', 27017)
book_weather = client['weather']
sheet_weather = book_weather['sheet_weather_3']
for item in sheet_weather.find():
    # 因为数据需要3天的天气预报，因此要循环3次
    for i in range(3):
        tmp = item['HeWeather6'][0]['daily_forecast'][i]['tmp']['min']
        sheet_weather.update_one({'_id':item['_id']},{'$set':{'HeWeather6.0.daily_forecast.{}.tmp.min'.format(i):int(tmp)}})
for item in sheet_weather.find({'HeWeather6.0.daily_forecast.tmp.min':{'$gt':5}}):
    print(item['HeWeather6'][0]['basic']['city'])