案例介绍url : https://www.aqistudy.cn/html/city_detail.html
案例涉及的反爬:
动态加载数据加密响应数据js混淆js加密js逆向分析:在页面中修改了查询条件后,点击查询按钮,会发起一个ajax请求,请求到页面中指定的数据。
在ajax请求中:
url:https://www.aqistudy.cn/apinew/aqistudyapi.p            
                
         
            
            
            
            一.学习知识准备在数据可视化分析中,按上篇文章,我们要学习numpy科学计算库以及matplotlip可视化分析,这边我用了request库下载了上海的空气质量指数的html文本,并爬取了数据进行json封装,因此我们也要学会从文本获取json数据并解析,然后需要构建numpy数组,用折线图显示出来第一个知识点:request库Requests 是⽤Python语⾔编写,基于urllib,采⽤Ap            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-06 20:19:31
                            
                                111阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             版本1.0'''
功能:AQI计算
版本:1.0
'''
def cal_linear(iaqi_lo,iaqi_hi,bp_lo,bp_hi,cp):
    '''
    范围缩放
    '''
    iaqi = (iaqi_hi-iaqi_hi)*(cp-bp_lo)/(bp_hi-bp_lo) + iaqi_lo
    return iaqi
def cal_pm_i            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-26 19:08:41
                            
                                25阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            天气通天气通并不是一款单独提供空气质量的应用,它注重天气更多,比如可以按照北京的不同区来显示气温,提供曲线和地图气温显示,并具有多种形式的微博分享样式。但它同样也有当前大家比较关心的空气信息,如果你不想让空气信息“喧宾夺主”,那么可以考虑“天气通手机安卓版”或者是“墨迹天气官网iPhone版”。天气通仅从空气的角度来说,“天气通”可以有效的告诉我们当前PM2.5的指数以及指数所代表的是否有害。虽然            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-27 15:38:40
                            
                                235阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Deep Distributed Fusion Network for Air Quality Prediction摘要:基于对大气污染的领域知识,提出了一种基于深度神经网络(DNN)的方法(Deep-air),该方法由空间变换组件和深度分布式融合网络组成。考虑到大气污染物的空间相关性,组件将空间稀疏的空气质量数据转换为一致的输入,以模拟污染物源。后一种网络采用神经分布式结构,融合城市异质数据,同            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-10 23:36:33
                            
                                484阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            细颗粒物又称细粒、细颗粒、PM2.5。细颗粒物指环境空气中空气动力学当量直径小于等于2.5微米的颗粒物。它能较长时间悬浮于空气中,其在空气中含量浓度越高,就代表空气污染越严重。虽然PM2.5只是地球大气成分中含量很少的组分,但它对空气质量和能见度等有重要的影响。与较粗的大气颗粒物相比,PM2.5粒径小,面积大,活性强,易附带有毒、有害物质(例如,重金属、微生物等),且在大气中的停留时间长、            
                
         
            
            
            
            前言:在上一篇文章中,我们介绍了在PM2.5.in这个网站采集空气质量的数据,本篇文章是对其产生的一些问题的另一种解决方案,提供更加权威的数据采集。技术框架:selenium、json、etree这里的selenium是一种自动化测试的工具,它可以帮助我们模拟浏览器打开网页并获取网页数据,本文之所以选择这种方式进行,是因为以requests方式直接请求无法获取到正确的数据,这个网页的数据是动态加载            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-12 11:33:10
                            
                                169阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Python空气质量
 
                                    
                             
         
            
            
            
                  下午正好有点时间就把之前想做的一个工作给结束掉,之前网上搜索数据的时候发现了一个在线的数据结果,提供了一下正好需要的数据,一般的气象类网站大多只能提供未来一周的预测数据,而这个网站则可以提供未来半月的预测数据,当然,免费的版本可能颗粒度没有那么的高,不过对于一般的应用需求来说已经是足够了的。       因为整体的实            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-11 19:02:16
                            
                                75阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、空气质量指数计算V1.0主要知识点:分支结构、函数、异常处理# -*- coding:utf-8 -*-
"""@author:Angel@file:AQI_V1.0.py@time:2018/11/28 14:29@1.0功能:AQI计算"""
def cal_linear(iaqi_lo, iaqi_hi, bp_lo, bp_hi, cp):
# 线性缩放
iaqi = (iaqi_hi            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-14 10:23:09
                            
                                244阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            基于神经网络的空气质量指数预测1 项目背景1.1背景随着我国经济的快速发展,大量的工厂企业以及尾气排放使得大气环境污染日益严重,所以大气污染的预测防治工作应该加大力度[1]。通过预测未来影响空气质量指数的污染物浓度,实现我们对短期空气质量状况和变化趋势的判断则变得尤为重要。
空气质量指数是将对人群产生影响的空气质量,通过对评价空气质量的污染物浓度计算得到的无量纲数值。用不同得等级表示空气污染状况的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-07 20:21:01
                            
                                287阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            - 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站,包括温度、湿度、PM 2.5、AQI 等数据,链接为:https://www.aqistudy.cn/html/city_detail.html,网站显示为:该网站所有的空气质量数据都是基于图表进行显示的,并且都是出发鼠标滑动或者点动后才会显示某点的数据,所以如果基于selenium进行数据爬取也是挺吃力的,因此我们采            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-14 10:25:39
                            
                                26阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            影响空气质量的主要气体有:二氧化硫、一氧化碳、二氧化氮、可吸入颗粒和臭氧等。我们可以通过Giovanni平台下载空气污染气体的卫星产品数据。Giovanni平台介绍Giovanni, 是NASA 旗下的地球科学可视化工具。通过简单的操作,即可将NASA 相关卫星上数据进行统计、显示与下载。支持的数据包括但不限于大气:气溶胶指数、气压、二氧化碳、一氧化碳、二氧化氮、可吸入颗粒、臭氧、大气水分、二氧化            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-08 21:58:15
                            
                                2阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录【代码一】【结果一】编辑【代码二】【结果二】【代码一】#本章需导入的模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
##%matplotlib inline
plt.rcParams['font.sans-serif']=['SimHei']  #解决中文显示乱码问题
plt.rcParams[            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-14 01:06:56
                            
                                526阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            @Author :Runsen这是接的一单Python数据分析的,文件我删了,不好意思 文章目录北京空气质量数据处理分析解决方法代码计算北京每年的PM2.5情况计算北京每年1-12月的PM2.5情况 北京空气质量数据处理这是我接单的一个单,看了数据源,马发现很有印象,马上就知道来源kaggle中国北京上海广州成都,沈阳的Pm2.5数据集,对应的链接:https://www.kaggle.com/u            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-05 16:06:50
                            
                                85阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录一、实验内容二、完成情况三、数据分析1.问题描述2.编程思路3.程序代码4.程序运行结果(1)2014年-2019年AQI时间序列折线图 (2)各年AQI折线图、AQI直方图、PM2.5与AQI散点图、空气质量整体情况的饼图 (3)六种空气成分与AQI的散点图 5.结果分析一、实验内容对《北京市空气质量》数据进行数据分析。其中包括数据的导入、预处理、可视化。二、完            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-24 13:41:39
                            
                                481阅读
                            
                                                        
                                点赞
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            aqi插件  Working in a Global Security Operations Center usually involves monitoring current events and especially abnormal weather. Abnormal weather can cause facility closures, and a good operation wil            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-06 23:17:21
                            
                                126阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            PM2.5和O3的空间地图的绘制需求:想要的是面数据,图例也是面状的例如给的是格网形式的PM2.5和O3(全国的格网数据),如 1、首先,如果我们需要的是局部地区,如京津冀地区的,那我们首先要进行按位选择(工具栏——选择——按位置选择),选择完成后把选择的数据导出成shp数据(此时还是大量的点) 2、然后,选择数据管理工具——栅格——点转栅格,将导出的shp数据(点数据)转成栅格(面数据),然后在            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-16 16:02:42
                            
                                546阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            在本文中,你将了解如何使用 Keras 深度学习库开发 用于多元时间序列预测的 LSTM 模型。 文章目录技术提升1.空气污染预报2.基础数据准备3.多元LSTM预测模型LSTM 数据准备定义和拟合模型评估模型示例4.训练多个滞后时间步示例 技术提升技术要学会分享、交流,不建议闭门造车。一个人走的很快、一堆人可以走的更远。1.空气污染预报在本文中,我们将使用空气质量数据集。这是一个数据集,报告了五            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-28 22:09:08
                            
                                858阅读
                            
                                                                             
                 
                
                                
                    