某天气网站（www.数字.com）存有2011年至今的天气数据，有天看到一本爬虫教材提到了爬取这些数据的方法，学习之，并加以改进。准备爬的历史天气爬之前先分析url。左上有年份、月份的下拉选择框，按F12，进去看看能否找到真正的url：很容易就找到了，左边是储存月度数据的js文件，右边是文件源代码，貌似json格式。双击左边js文件，地址栏内出现了url：http://tianqi.数字.com/
转载
2023-07-02 20:52:05
187阅读
学会了爬虫，让我们自制一个天气预报的爬虫吧！需求分析1、用 requests 爬取 全国天气网 的网页源代码； 2、用 pyquery 解析网页源代码，取得天气情况信息的节点； 3、用 xlwt 将信息保存到本地 Excel 文件。实现过程第一步：导入库import requests
from pyquery import PyQuery as pq
import xlwt第二步：获取网页源代码；
转载
2023-08-16 15:48:53
449阅读
3、爬取天气数据并用Pygal绘图需求：使用 Python 获取 2018 年太原的天气的最高气温和最低气温信息使用 Pygal 展示天气数据步骤：下载、提取数据使用 urllib.request 向 https://m.tianqi.com/ 发送请求，获取该网站的源代码使用 re 模块来解析网站源代码，从中提取日期、天气最高气温、天气最低气温数据数据清洗检查数据丢失和数据格式错误情况对数据异常
转载
2024-04-22 23:00:39
136阅读
需求说明 到网站://lishi.tianqi./kunming/201802.html可以看到昆明2018年2月份的天气信息，然后将数据存储到数据库。 实现代码 运行上述程序后，在数据库查询结果如下：
转载
2018-05-01 13:54:00
138阅读
2评论
注册免费API和阅读技术文档示例接口为和风天气的天气预报，该网站为个人开发者提供免费的预报数据（有访问次数限制）。 注册地址：http://console.heweather.com 注册后在控制台可以看到个人认证的key（密钥），这个key是访问API的钥匙。 文档地址：https://dev.heweather.com/docs/api/weather 免费版接口地址：https://free
转载
2023-12-18 13:12:29
322阅读
一.设计方案爬虫名称：爬取天气情况并进行可视化爬虫内容：爬取2020年3月份莆田市天气情况爬虫设计：目标url，获取网页源代码，数据提取，数据保存二.页面的结构特征分析（网址：http://www.tianqihoubao.com/lishi/putian/month/202003.html）结构特质分析：源文件为html结构页面解析以及节点查找找到节点为三.爬虫程序数据爬取与采集importre
转载
2023-08-17 15:19:35
85阅读
本来是想从网上找找有没有现成的爬取空气质量状况和天气情况的爬虫程序，结果找了一会儿感觉还是自己写一个吧。主要是爬取北京包括北京周边省会城市的空气质量数据和天气数据。过程中出现了一个错误：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 250。原来发现是页面的编码是gbk，把语句改成data=urllib.re
转载
2023-12-12 23:16:28
60阅读
[toc] 1.网页分析 庚子年初，各种大事件不期而至，又赶上最近气温突变，所以写个爬虫来爬取下中国天气网，并通过图表反映气温最低的前20个城市。 中国天气网：://.weather..cn/textFC/hb.shtml 打开后如下图： 从图中可以看到所有城市按照地区划分了，并
转载
2020-03-31 18:06:00
214阅读
2评论
import requestsfrom bs4 import BeautifulSoupimport smtplibimport lxmlfrom email.mime.text import MIMEText'''思路：获取所有省份的a标签把所有a标签链接和名称用字典存储让用户进行输入，来匹配，返回市县区再次返回市县区的a标签，再让用户输入信息，匹配对应市县区的数据进行返回...
原创
2021-07-08 13:52:07
491阅读
防伪码：没有相当程度的孤独是不可能有内心的平和。Python版本Python3.5.3天气预报 Web 服务参考http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?op=getWeatherbyCityName注：该服务可以显示3天的天气预报。import urllib.request
from xml.dom
原创
精选
2017-08-13 18:06:03
3485阅读
点赞
目录前言网络爬虫简介准备工作牛刀小试Python爬虫实例 前言本文将以最简单粗暴的方式让你了解写python爬虫的基本流程【下载《笔趣阁》网络小说《伏天氏》】，涉及到內库或第三方库的基本方法不会详细讲解，如有需要可关注留言(根据情况考虑专门写一篇爬虫常用库的讲解)，也可自行查阅。【本文只针对未入门且想了解python爬虫的小伙伴】网络爬虫简介网络爬虫，也叫网络蜘蛛(Web Spider)。它根据
python3学习之路-爬虫篇一、前期准备1.安装python3.7.3 开发环境2.安装pyCharm开发工具3.掌握python基本语法二、爬虫原理三、爬虫所需要的第三方库1、requests库2、 beautifulSoup库3、lxml库四、正则表达式1.一般字符2.预定义字符集3.数量词4.边界匹配5.re模块及其方法四、使用API五、数据库存储1、NoSql数据库分类2、mongoD
转载
2023-12-04 15:19:37
47阅读
#!/usr/local/bin/python3 #coding=utf-8 ''' Created on 2011-2-25 @author: ''' #http://www.weather.com.cn/data/sk/10...
转载
2013-07-23 17:06:00
212阅读
2评论
#!/usr/local/bin/python3#coding=utf-8'''Created on 2011-2-25@author: ://..com/txw1958/'''#://.weather.com.cn/data/sk/101010100.html 实时#://.weather.com.cn/data/cityinfo/101010100.html 全天#://m.weather.com.cn/data/101010100.html 六天##://.goo
转载
2012-07-19 15:43:00
193阅读
2评论
某天气网站(www.数字.com)存有2011年至今的天气数据。准备爬的历史天气1. 爬之前先分析url左上有年份、月份的下拉选择框，按F12，进去看看能否找到真正的url：很容易就找到了，左边是储存月度数据的js文件，右边是文件源代码，json格式。双击左边js文件，地址栏内出现了url：http://tianqi.数字.com/t/wea_history/js/54511_20161.jsur
转载
2023-07-23 17:12:07
190阅读
'''思路： 从缩略图页面开始爬取1) 先爬取所有缩略图的a标签2)3)'''import requestsfrom bs4 import BeautifulSoupimport osif not os.path.exists("音乐"): os.makedirs("音乐")import lxmlfrom urllib import requesturl = "...
原创
2021-07-08 13:52:08
315阅读
# 用Python3爬取财经数据的指南
近年来，数据挖掘和网络爬虫技术迅速发展，财经数据爬取成为许多开发者的共同需求。今天，我将带你学习如何使用Python3爬取财经数据的基本流程和代码实现。
## 流程步骤
我们将整个流程划分为以下几个步骤：
| 步骤 | 内容 |
|------|-----------------------------
原创
2024-09-07 06:45:03
79阅读
首先，经分析后发现该板块的图片是异步加载的，通过requests库难以获取。因此，利用selenium动态获取目标内容的源代码，再用BeautifulSoup库解析保存即可。1、首先打开目标链接，煎蛋分析下网站，然后决定用什么方式去获取内容 禁止加载JavaScript后，图片则无法显示，并且在XHR里面没有任何内容基于此，我们发现，该板块内容只有图片是异步加载 的，但图片又是我们想要爬
# python3 爬取https
## 引言
随着互联网的迅猛发展，网络数据已经成为人们获取信息的重要途径。而爬虫技术作为一种自动化获取网络数据的技术手段，被广泛应用于各个领域。本文将介绍如何使用Python3来爬取HTTPS网站的数据，并提供相应的代码示例。
## HTTPS协议简介
HTTPS（Hypertext Transfer Protocol Secure）是HTTP的安全版本，其
原创
2023-09-20 07:26:22
108阅读
爬取数据网站(无法直接打开)提供的数据，转换并解压字节码成为json数据，在json.cn中解析最后在console中展示出来源码如下from urllib.parse import quoteimport urllib.requestimport gzip# 构造url,quote将文本转换为utf-8字符cityName = input('请输入查询城市名称:')url...
原创
2021-11-10 11:52:15
279阅读
