在绘制图像之前我们进行一个对数据的分析，此处我们选取的是第四版的数据，然后我们会发现这一版的数据和之前的第三版有很多的不同，我们先看看数据里面有什么？1、分析数据from datetime import time
from os import times
import numpy as np
import pandas as pd
import xarray as xr
import matplo
转载
2023-06-20 20:58:51
544阅读
Python调用，爬虫JS逆向——ajax类型数据
JS逆向-加密数据
加密数据是无法通过在后台找到接口进行请求来获取数据
目标网站：https://www.qimingpian.com/finosda/project/pinvestment
1. 通过查找无法找到接口位置
2.查看fetch/xhr查看动态请求（对加密数据
转载
2023-06-21 23:42:08
168阅读
python动态网页爬虫在用python爬取动态网页的时候，有些网页的HTML代码是由javascript动态生成的，直接爬取可能会出现无法加载的情况，需要用phantomJS和selenium模拟浏览器，之后再爬取。安装准备一.下载phantomJS压缩包，解压，注意路径./bin/phantomjs.exe,里面有各种浏览器的驱动。二.pip install selenium安装seleniu
转载
2023-05-31 09:43:08
203阅读
经过一段时间的python学习，能写出一些爬虫了。但是，遇到js动态加载的网页就犯了难。于是乎谷歌、百度，发现个好介绍http://www.jianshu.com/p/4fe8bb1ea984 主要就是分析网页的加载过程，从网页响应中找到JS脚本返回的JSON数据。（上边的网址介绍很详细，下边就直接贴代码，记录下）1、今日头条的 #coding：utf-8
import request
转载
2023-07-21 14:02:18
102阅读
系统环境：操作系统：Windows8.1专业版 64bit
Python：anaconda、Python2.7
Python modules:requests、random、jsonBackground:对于静态网页，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据。但是，我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获
转载
2023-10-09 17:24:56
1587阅读
作者简介：85后一名分析化学工作者及科学爱好者，深爱着北京的老北京人，爱好运动，科学，旅行，在这一专题中，我们将更贴近实际应用：函数的动态图形化，我们可以将其应用在示波器中，在软件上就可以模拟示波器的电压随时间变化的波形图（效果如下）： y=sinx的示波器模拟我们需要着手设计程序，可实现的功能为：允许用户输入x，y轴的正负半轴的长度值，x，y，z轴和主标题的标签
转载
2024-08-30 10:51:56
159阅读
动态网页的爬取相比静态网页来说困难一些，主要由于很多网站采用Ajax和动态Html相关技术进行页面交互，导致使用request或urlib是无法获取完整的页面html 内容。下面主要介绍两种抓取动态网页的方法，基本上都是有利有弊。逆向分析法，使用浏览器开发者工具分析爬取数据的来源,有时需要理解JavaScript 脚本，需要一定的分析能力和综合能力。Selenium，自动化测试框架，可以获取加载后
转载
2023-08-11 13:43:54
148阅读
# Python爬虫：动态IP解决方案
在进行Web数据爬取时，经常会遇到IP限制的问题，即同一IP地址在短时间内发送大量请求会被目标网站封禁。为了规避这个问题，我们可以使用动态IP来实现爬虫的持续运行。本文将介绍使用Python编写爬虫时的动态IP解决方案，并提供相关代码示例。
## 什么是动态IP？
动态IP指的是在一定时间间隔内，IP地址会发生变化的情况。通常，动态IP是由Intern
原创
2023-08-01 04:32:13
435阅读
Xpath helper 或者是 chrome 中的 copy xpath 都是从 element 中提取的数据，但是爬虫获取的是url对应的响应，往往和 elements 不一样，这是因为浏览器渲染出来的页面和爬虫请求的页面并不一样，当使用了JavaScript、jQuery、 Ajax 或 DHTML(Dynamic HTML, DHTML) 技术改变 / 加载内容的页面，网页中数据并不直接渲
转载
2023-11-03 13:29:38
115阅读
一、selenium概念 selenium 是一个基于浏览器自动化的模块 selenium爬虫之间的关联： 1.便捷的获取动态加载的数据 2.实现模拟登录 基本使用 pip install selenium 获取浏览器的驱动程序 google驱动地址下载链接：http://chromedriver.storage.googleapis.com/index.htm
转载
2023-06-26 23:06:54
99阅读
本章动态网页爬虫的目标1.学会动态网页爬虫2.学会selenium库使用 什么是动态网页爬虫1.动态网页动态网页是网站在不重新加载的情况下，通过ajax技术动态更新网页中的局部数据。2.AJAX(Asynchronous JavaScript And XML)，即异步JavaScript和XML前端与服务器进行少量的数据交换，AJAX可以使网页实现异步更新。这意味着可以在不重新加载整个网
转载
2023-07-03 23:39:20
91阅读
注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py。同样在开始前需要准备环境，具体环境准备参考上一篇。1、数据获取目标全国水雨情网的
转载
2024-05-30 15:38:52
107阅读
一、Ajax数据爬取1.Ajax介绍Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax请求到网页更新过程，简单分为以下3步：发送请求；解析内容；渲染网页。Ajax具有特殊的请求类型，它叫作x
转载
2023-12-28 23:45:59
207阅读
在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。1. 那么什么是动态加载的数据?我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中的url请求得到的。而是通过其他请求请求到的数据，那么这些通过其他请求请
转载
2024-02-28 16:32:45
102阅读
Python爬虫遇上动态加载1.通过示例认识动态加载2.JavaScript 逆向工程3.渲染动态页面4.更加自动化的渲染----Selenium1.驱动下载与设置2. 小示例了解Selenium3.了解Selenium的定位 我想大家在使用爬虫爬取数据的过程中遇到过如下的情况吧，明明在网页源码看得到需要的内容，而且各种节点也没问题，可是就是爬取不到想要的数据，这其实就是现在大多数网页使用
转载
2023-07-06 12:34:48
234阅读
def test_exec():
codeBuffer = """
from ccx_modu.ccxdbapi import *
from ccx_modu.ccxfunctions import *
from ccx_modu import ccxconfig
def add(x,y):
print(x,y)
return x+y
def query():
my
转载
2023-06-26 11:41:50
0阅读
【前言】每年夏季，台风就如期而至。去年八月份，“风王”利奇马真的如脱缰野马，让大家见识到台风的可怕之处。这次收集到1945~2015年在中国登陆的所有台风数据，并通过Python对这些数据进行可视化分析，希望能得到一些有意思的结论。 【数据来源】该数据集来自于上海追风团队，在其官网台风数据中心下载。 网站提到某些数据年代久远，会有缺失和误差，请甄别使用。所以这里无
转载
2023-11-13 16:44:51
358阅读
台风是重大灾害性天气，台风引起的直接灾害通常由三方面造成，狂风、暴雨、风暴潮，除此以外台风的这些灾害极易诱发城市内涝、房屋倒塌、山洪、泥石流等次生灾害。正因如此，台风在科研和业务工作中是研究的重点。希望这次台风路径可视化可以给予大家一点点帮助。台风路径的获取中国气象局(CMA)中国气象局(CMA)的台风最佳路径数据集(BST)，BST是之后对历史台风路径进行校正后发布的，其经纬度、强度、气压具有更
转载
2024-08-10 08:31:48
61阅读
【太阳软件】用python也差不多一年多了，python应用最多的场景还是web快速开发、网络爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。网络爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网站页面2、使用代理IP在开发网络爬虫过程中经常会遇到IP被封掉的情况，这时就须要用到代理IP;在urllib2包中有ProxyH
转载
2023-08-31 08:39:00
117阅读
注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py。同样在开始前需要准备环境，具体环境准备参考上一篇。1、数据获取目标图1-1 全国
转载
2023-08-30 09:56:14
385阅读
