获取警告框信息texts = driver.switch_to_alert().text #获取警告文本
print(texts)#得到弹窗的文本消息,比如得到：请输入用户名！使用switch_to_alert()，有三种方法：接受弹窗driver.switch_to_alert().accept() #接受警告（等于点了个确定）
message=driver.switch_to_alert().
转载
2023-06-26 11:23:19
902阅读
## 实战演示 ### 文件上传 input 标签使用自动化上传，先定位到上传按钮，然后 send_keys 把路径作为值给传进去.如图所示，是企业微信文件上传的页面 定位到标签为 input，type 为 file 的元素信息，然后使用 send_keys 把文件路径作为值给传进去。
Python调用，爬虫JS逆向——ajax类型数据
JS逆向-加密数据
加密数据是无法通过在后台找到接口进行请求来获取数据
目标网站：https://www.qimingpian.com/finosda/project/pinvestment
1. 通过查找无法找到接口位置
2.查看fetch/xhr查看动态请求（对加密数据
转载
2023-06-21 23:42:08
168阅读
python动态网页爬虫在用python爬取动态网页的时候，有些网页的HTML代码是由javascript动态生成的，直接爬取可能会出现无法加载的情况，需要用phantomJS和selenium模拟浏览器，之后再爬取。安装准备一.下载phantomJS压缩包，解压，注意路径./bin/phantomjs.exe,里面有各种浏览器的驱动。二.pip install selenium安装seleniu
转载
2023-05-31 09:43:08
203阅读
系统环境：操作系统：Windows8.1专业版 64bit
Python：anaconda、Python2.7
Python modules:requests、random、jsonBackground:对于静态网页，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据。但是，我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获
转载
2023-10-09 17:24:56
1587阅读
经过一段时间的python学习，能写出一些爬虫了。但是，遇到js动态加载的网页就犯了难。于是乎谷歌、百度，发现个好介绍http://www.jianshu.com/p/4fe8bb1ea984 主要就是分析网页的加载过程，从网页响应中找到JS脚本返回的JSON数据。（上边的网址介绍很详细，下边就直接贴代码，记录下）1、今日头条的 #coding：utf-8
import request
转载
2023-07-21 14:02:18
102阅读
动态网页的爬取相比静态网页来说困难一些，主要由于很多网站采用Ajax和动态Html相关技术进行页面交互，导致使用request或urlib是无法获取完整的页面html 内容。下面主要介绍两种抓取动态网页的方法，基本上都是有利有弊。逆向分析法，使用浏览器开发者工具分析爬取数据的来源,有时需要理解JavaScript 脚本，需要一定的分析能力和综合能力。Selenium，自动化测试框架，可以获取加载后
转载
2023-08-11 13:43:54
148阅读
# Python爬虫：动态IP解决方案
在进行Web数据爬取时，经常会遇到IP限制的问题，即同一IP地址在短时间内发送大量请求会被目标网站封禁。为了规避这个问题，我们可以使用动态IP来实现爬虫的持续运行。本文将介绍使用Python编写爬虫时的动态IP解决方案，并提供相关代码示例。
## 什么是动态IP？
动态IP指的是在一定时间间隔内，IP地址会发生变化的情况。通常，动态IP是由Intern
原创
2023-08-01 04:32:13
435阅读
Xpath helper 或者是 chrome 中的 copy xpath 都是从 element 中提取的数据，但是爬虫获取的是url对应的响应，往往和 elements 不一样，这是因为浏览器渲染出来的页面和爬虫请求的页面并不一样，当使用了JavaScript、jQuery、 Ajax 或 DHTML(Dynamic HTML, DHTML) 技术改变 / 加载内容的页面，网页中数据并不直接渲
转载
2023-11-03 13:29:38
115阅读
一、selenium概念 selenium 是一个基于浏览器自动化的模块 selenium爬虫之间的关联： 1.便捷的获取动态加载的数据 2.实现模拟登录 基本使用 pip install selenium 获取浏览器的驱动程序 google驱动地址下载链接：http://chromedriver.storage.googleapis.com/index.htm
转载
2023-06-26 23:06:54
99阅读
本章动态网页爬虫的目标1.学会动态网页爬虫2.学会selenium库使用 什么是动态网页爬虫1.动态网页动态网页是网站在不重新加载的情况下，通过ajax技术动态更新网页中的局部数据。2.AJAX(Asynchronous JavaScript And XML)，即异步JavaScript和XML前端与服务器进行少量的数据交换，AJAX可以使网页实现异步更新。这意味着可以在不重新加载整个网
转载
2023-07-03 23:39:20
91阅读
一、Ajax数据爬取1.Ajax介绍Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax请求到网页更新过程，简单分为以下3步：发送请求；解析内容；渲染网页。Ajax具有特殊的请求类型，它叫作x
转载
2023-12-28 23:45:59
207阅读
注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py。同样在开始前需要准备环境，具体环境准备参考上一篇。1、数据获取目标全国水雨情网的
转载
2024-05-30 15:38:52
107阅读
在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。1. 那么什么是动态加载的数据?我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中的url请求得到的。而是通过其他请求请求到的数据，那么这些通过其他请求请
转载
2024-02-28 16:32:45
102阅读
Python爬虫遇上动态加载1.通过示例认识动态加载2.JavaScript 逆向工程3.渲染动态页面4.更加自动化的渲染----Selenium1.驱动下载与设置2. 小示例了解Selenium3.了解Selenium的定位 我想大家在使用爬虫爬取数据的过程中遇到过如下的情况吧，明明在网页源码看得到需要的内容，而且各种节点也没问题，可是就是爬取不到想要的数据，这其实就是现在大多数网页使用
转载
2023-07-06 12:34:48
234阅读
def test_exec():
codeBuffer = """
from ccx_modu.ccxdbapi import *
from ccx_modu.ccxfunctions import *
from ccx_modu import ccxconfig
def add(x,y):
print(x,y)
return x+y
def query():
my
转载
2023-06-26 11:41:50
0阅读
当你触发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息方法如下：alert = driver.switch_to_alert()
原创
2021-07-08 10:41:01
240阅读
当你触发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息方法如下：alert = driver.switch_to_alert()
原创
2022-03-23 16:04:59
279阅读
注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py。同样在开始前需要准备环境，具体环境准备参考上一篇。1、数据获取目标图1-1 全国
转载
2023-08-30 09:56:14
385阅读
