前言selenium是一个web自动化测试的开源框架，它支持多语言：python/java/c#…前面也有一篇文章说明了，selenium+浏览器的环境搭建。selenium支持多语言，是因为selenium与浏览器驱动之间是通过http协议进行通信的。只关心通信的数据是否能够正确解读 ，并不关心这个数据是从哪个客户端来。无论来自python\java,还是jmeter,postman都没有问题。
一般的的静态HTML页面可以使用requests等库直接抓取，但还有一部分比较复杂的动态页面，这些页面的DOM是动态生成的，有些还需要用户与其点击互动，这些页面只能使用真实的浏览器引擎动态解析，Selenium和Chrome Headless可以很好的达到这种目的。Headless ChromeHeadless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所
转载
2023-06-19 14:25:49
355阅读
作者：龙威"娄底终于放晴了，病树前头万木春，希望早点结束这场浩劫，恢复生机。本期更新两个知识点：一是selenium结合浏览器驱动器的数据爬取可以实现不让浏览器在前端打开显示；二是有些网站的一些数据本身是用网页存成的json数据，无需耗费大量心神去用selenium去抓取。"01—selenium新技能在抓取数据的过程中，界面的显示对于用户来说意义不大。除了
转载
2024-01-03 23:58:03
11阅读
目录讲解selenium获取href - find_element_by_xpath什么是XPath？使用find_element_by_xpath获取hrefSelenium的特点和优势Selenium的应用场景Selenium的核心组件总结讲解selenium获取href - find_element_by_xpathSelenium是一个常用的自动化测试工具，可用于模拟用户操作浏览器。在We
转载
2024-06-25 18:38:18
72阅读
在做自动化用例写作的过程中，发现使用 xpath无法定位到页面元素, 报如下错误需要定位的页面如下很多的页面都是这样的结构，实际需要定位的元素例如查询按钮、新增按钮之类的业务控件都是内嵌在框架页面中，而我们用selenium定位打开的页面只能定位到最外层的页面内而嵌套的页面是无法访问的，要想访问嵌套的页面内的元素必须先切换到iframe内才能进行定位，所以第一步要解决的就是定位到iframe，然后
转载
2024-05-05 20:56:34
42阅读
需要学习的地方:1.Selenium的安装,配置2.Selenium的初步使用(自动翻页) 利用Selenium爬取东方财富网各上市公司历年的财务报表数据。摘要： 现在很多网页都采取JavaScript进行动态渲染，其中包括Ajax技术。上一篇文章通过分析Ajax接口数据，顺利爬取了澎湃新闻网动态网页中的图片。但有的网页虽然也Ajax技术，但接口参数可能是加密的无法直接获得，比如淘宝；有
在做web应用的自动化测试时，定位元素是必不可少的，这个过程经常会碰到定位不到元素的情况（报selenium.common.exceptions.NoSuchElementException），一般可以从以下几个方面着手解决：1.Frame/Iframe原因定位不到元素：这个是最常见的原因，首先要理解下frame的实质，frame中实际上是嵌入了另一个页面，而webdriver每次只能在一个页面识
Selenium对网页的控制是基于各种前端元素的，在使用过程中，对于元素的定位是基础。元素定位主要核心的两种方法是CSS 和XPTH定位，CSS是倚天剑，XPATH是屠龙刀，CSS元素定位上性能优于XPATH,优先使用CSS定位。这两种定位方式组合基本能完全查找到需要定位的元素。 下面介绍几种结合谷歌浏览器在UI自动化
转载
2023-12-12 21:34:38
331阅读
简介Selenium 是一个健壮的工具集合，跨很多平台支持针对基于 web 的应用程序的测试自动化的敏捷开发。它是一个开源的、轻量级的自动化工具，很容易集成到各种项目中，支持多种编程语言，比如 .NET、Perl、Python、Ruby 和 Java™ 编程语言。利用 Selenium 测试 Ajax 应用程序Asynchronous JavaScript and XML (Ajax) 是一种用于
这两天遇到一个棘手的异常，时不时页面会弹出：“系统繁忙，请稍候再试！”，这时候我们去看网络请求数据，结果状态码全部都是 200，没有其它信息，这压根没法定位不了问题。这就说明：网络出现异常的时候，仅靠状态码是不够的。我们最好能拿到 http 所有数据，包括：请求头、响应头、请求体、响应体。其中请求头、响应头，可以通过 PERFORMANCE_LOG 拿到，问题都不大。但是请求体与响应体，我们可以拿
转载
2023-10-04 09:18:14
821阅读
一、什么是API操作？Selenium 中的 API 是指应用程序编程接口，它是一组函数和方法，可以让你用不同的编程语言来控制和操作 Web 浏览器。二、常见的API操作有哪些？该如何进行操作呢？1、下拉单选择#下拉框怎么操作?
#1、先定位下拉框,然后点击下拉出现选项
#2、定位对应的选项,点击选项选中
#3、通过Select定位
from selenium.webdriver.support.
转载
2024-01-04 05:28:12
120阅读
这次练习获取的网站使用了许多反爬技术：1.html页面使用了css字体偏移2.xhr加载有webdriver反爬检测3.请求接口使用了多项加密参数以及cookie验证4.部分js代码用了ob混淆 一开始只是想学习练手一下css偏移学习后是解决了，但想获取页面源代码时候遇到了重重问题。爬取测试思路： &nbs
转载
2024-07-30 21:22:02
94阅读
Python中的selenium模块是可以启动浏览器与人交互。我们知道requests模块在网页下载时配合上BeautifluSoup会简单很多，但是随着很多网站越来越注重反爬，会拒绝提供页面，而selenium模块通过启动浏览器像和普通浏览器一样的流量模式使你更容易被接受下载信息，同时长期有效性也会大很多。 这次我们的实例是通过爬取网站IMDb获取电影分类排名数据。需要说明的是这个网站在我们国内
转载
2023-11-29 22:20:15
178阅读
一、操作目的1.1 自动化测试常用操作1、定位网页上的元素，并存储到一个变量中；
2、对变量进行操作，比如点击或输入文字；
3、设定页面元素的操作值；二、定位方法汇总2.1 findElement(s)click(self, on_element=None)
click_and_hold(self, on_element=None)
context_click(self, on_element=N
转载
2024-02-14 13:24:49
152阅读
今天遇到的问题F12中能找到json文件，我所要也就是json文件里面的strokes内容。 但是在先前的写的代码中，通过selenium自动化库能完成汉字的自动化搜索。但是无法获取到的json文件。from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.s
转载
2023-11-28 02:02:52
322阅读
性能日志ChromeDriver支持性能日志记录，您可以从中获取域“时间轴”，“网络”和“页面”的事件，以及指定跟踪类别的跟踪数据。启用性能日志默认情况下不启用性能日志记录。因此，在创建新会话时，您必须启用它。DesiredCapabilities cap = DesiredCapabilities.chrome();LoggingPreferences logPrefs = new Loggin
六、获取页面的title和url有时间需要通过页面的title和url去判断页面的状态。比如测试登录是否成功和重定向是否成功。 #获得前面 title，打印
title = driver.title
print title
#获得前面 URL，打印
now_url = driver.current_url
print now_url
七、设置等待时间有时候为了保证脚本运行的
转载
2024-01-29 14:19:41
92阅读
selenium-wire扩展了 Selenium 的 Python 绑定，让您可以访问浏览器发出的底层请求。 您编写代码的方式与使用 Selenium 的方式相同，但您可以获得额外的 API 来检查请求和响应并动态更改它们一：简介selenium是爬虫常用的手段之一，由于是使用浏览器驱动模拟手动操作，所以只要掌握一些元素的基本定位就很容易上手。但是经常会遇到的问题我觉得至少有两点：每次
转载
2023-07-17 18:52:40
0阅读
爬虫：requests bs4靓汤 抓包(ajax) selenium使用selenium模拟用户实现异步请求网络数据爬取！！！很清楚哇！！！数据抓包常用方式：谷歌浏览器调试模式–>network—>选择xhr(异步请求的接口)–>查看对应接口的response响应数据selenium自动化爬虫(模拟器)：模拟用户的行为(浏览器请求网址获取网页内容的行为)安装： pip(cond
转载
2023-09-27 15:28:40
198阅读
找了一个新闻网站练习爬虫抓取，目标：逐一点击目录标题，进入详细新闻页面，抓取子页面的标题和正文内容并打印出来，返回目录标题页，点击下一篇文章。注：没有新开窗口，是在原窗口实现跳转。新开窗口进行抓取看下一篇文章。试了很多种方法都抓取不到class=rightContent下面每个a标签里的href链接，开始思考是不是因为href链接都放在li列表里面导致。后面终于试到怎么获取这些在列表li里的hre
转载
2023-11-19 13:27:39
84阅读
