学习pyplot子库的时候突然突发奇想，如果把我最常听的10首歌下下来，做一个扇形图，岂不是很美好？ 于是我就开始准备爬取了网易云 很显然，网易云是Ajax异步加载(源网页上没有想要内容，需要先进母网页，再发数据包才行)，因此需要分步进行爬取。然而，我查看了Network里的XHR，找到了它对应的方法——po
学习pyplot子库的时候突然突发奇想，如果把我最常听的10首歌下下来，做一个扇形图，岂不是很美好？ 于是我就开始准备爬取了网易云 很显然，网易云是Ajax异步加载(源网页上没有想要内容，需要先进母网页，再发数据包才行)，因此需要分步进行爬取。然而，我查看了Network里的XHR，找到了它对应的方法——po
转载
2024-10-13 11:41:18
19阅读
前几天，有个项目需要，我用了三天时间写了爬虫并部署到服务器。我以前没有接触过Linux服务器，查阅了很多博客文献，写下这一篇完整教程。首先是我的基本环境配置：window11，Python3.9，Mysql，Debain11，Google浏览器。下面进入正题，我以简书网站为例：一、在本机编写爬虫（Scrapy+Selenium）1.安装Scrapypip install scrapy2.创建Scr
转载
2023-12-12 15:27:36
147阅读
爬取动态网页：Selenium 参考：概述在爬虫过程中，一般情况下都是直接解析html源码进行分析解析即可。但是，有一种情况是比较特殊的：网页的数据采用异步加载的，比如ajax加载的数据，在我们“查看网页源代码”是查看不到的。采用常规的爬虫这一块是解析不到的。第一种解决方案是采用一些第三方的工具，模拟浏览器的行为，去加载数据。比如：Selenium、PhantomJs。优点：不必考虑动态页面
转载
2024-06-07 21:49:43
64阅读
# Selenium 获取异步加载页面 HTML 的方法
在现代网页开发中，异步加载已经成为常见的技术，尤其在单页应用（SPA）中，页面的某些内容可能会在用户的操作后动态加载。这使得简单的 HTML 获取变得复杂，尤其是在自动化测试和数据抓取的场景中。本文将介绍如何使用 Selenium 框架来获取异步加载页面的 HTML，并为您提供相关的代码示例。
## 什么是异步加载
异步加载是指网页上
原创
2024-09-23 04:18:06
111阅读
Python利用selenium模拟浏览器抓取异步加载等难爬页面信息背景 已在我之前的文章《 R语言利用RSelenium包或者Rwebdriver模拟浏览器爬取异步加载等难爬取的网页信息》中提过了 本次补上上次博客中说的用python实现。其他背景和一些包的介绍就不多做说明了。程序说明 从中文起点网抓取信息后，存入本地MySQL数据库，其中有一些细节处理，在此提一下： 1、有一些数据没有
转载
2024-05-29 11:23:33
70阅读
web测试工具selenium，无头浏览器phantomjs，利用浏览器的功能读取到动态网页内容。这样做一些事情比较方便，（登录返回一个cookie，我们直接是直接复制cookie，往往是先登录拿到了cookie，再把cookie带上，然后request.session访问这个网页，网页看到这个session就放行了。但是登录过程模拟出来就很难，这样selenium+无头浏览器就可以做）phant
前言在 UI 自动化测试中，必然会遇到环境不稳定，网络慢的情况，这时如果不做任何处理的话，代码会由于没有找到元素而报错。还有一种情况就是页面使用 ajax 异步加载机制。这时我们就要用到等待，而在 Selenium 中，可以用到三种等待方式，每一种等待都有自己的优点和缺点。三种等待方式time.sleep 固定等待在开发自动化脚本过程中，不要使用固定等待方式，虽然可以自定义等待时间，但当网络条件良
转载
2023-10-09 16:43:24
306阅读
首先要明确:我们的页面中有些dom是在页面加载完成后(document.readyState后)就出现的，而有些dom元素，是通过js动态生成加入的。例如document.body.appendChild(newElement)，或是因为触发了某些鼠标或键盘事件，而动态生成或显示的（display:block;）。例如常见的点击或touch触发了modal模态框，popper气泡框，下拉列表等。或
转载
2023-12-09 22:38:43
200阅读
# Java Selenium 异步加载问题复盘记录
## 问题背景
在现代 web 开发中，许多网站通过异步加载技术（如 AJAX）来提升用户体验。这使得页面在访问时的部分内容可能未立即呈现，给自动化测试带来了挑战。
用户场景还原如下：
- 用户登录到网站
- 用户选择一个需要加载大量数据的模块
- 系统通过 AJAX 请求获取数据
- 页面内容等待异步请求完成后才会更新显示
对于使用
python爬虫遇到有翻页和ajax页面时用selenium操作更方便点，也有pyquery库解析页面资源，可以达到持续爬取界面的数据；一 selenium操作浏览器 from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdri
转载
2023-09-16 14:38:45
573阅读
目录1. Selenium简介 2. Selenium组成 3. Selenium特点4. java爬虫入门 4.1 下载驱动包 4.2 创建项目并导入依赖
转载
2023-07-21 17:48:11
15阅读
今天学习selenium ，折腾了一整天，写个笔记记录一下今天的错误。我用的是java+webdriver，在eclipse中运行，今天的学习是进行网易邮箱的登录功能。一开始代码运行一直报找不到元素，而我试用了id，xpath等方法都失败了。差不多的代码，在百度上却能正常登录，我搜索了一下，发现是我的第一个问题，没有切换框架。如图因为没有切换到iframe，所以才会找不到元素，那么，添加了以下的代
转载
2024-06-10 14:51:42
51阅读
一、前言上篇文章中我们成功编写并启动了第一个selenium脚本。那Selenium是怎样知道我们想要操作哪个元素的呢？ 这篇文章将为你讲解Selenium的页面操作原理和高效的元素定位方法。 文章目录一、前言二、Selenium是如何操作页面元素的？三、高效的定位方法和Xpath定位讲解1. 利用浏览器工具2.Xpath定位简单介绍1. 绝对定位2. 相对定位3. Xpath代码解释1. `//
转载
2023-11-03 15:29:50
92阅读
# 从Java Selenium迁移页面的实现
## 一、流程概述
首先，让我们来看一下整个Java Selenium迁移页面的流程，可以用以下表格展示：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 启动浏览器，打开原页面 |
| 步骤二 | 找到需要迁移的元素 |
| 步骤三 | 获取元素的文本或属性 |
| 步骤四 | 打开新页面 |
| 步骤五 | 将元素的
原创
2024-03-28 07:18:16
14阅读
# 如何实现“java selenium 跳转页面”
## 1. 整个过程流程梳理
```mermaid
flowchart TD
A(打开浏览器) --> B(输入网址)
B --> C(点击按钮)
C --> D(等待页面加载)
```
## 2. 每一步具体操作及代码示例
### 步骤1：打开浏览器
在这一步，我们需要打开一个浏览器窗口。
```java
原创
2024-04-25 06:03:03
80阅读
# 使用Java Selenium实现网页滑动
在现代网页开发中，常常需要动态加载大量数据，这就需要通过滚动页面以触发内容的加载。Java Selenium是一个强大的工具，可以通过编程的方式实现网页的自动化操作。本文将介绍如何使用Java Selenium实现页面滑动，并提供相应的代码示例。
## 1. 环境准备
在开始之前，确保你已经安装了以下工具：
- Java Developmen
# 使用Selenium进行Java页面滚动的技巧
在自动化测试和网页抓取中，页面滚动是一个常见但重要的操作。通过使用Selenium这个强大的工具，我们可以轻松实现网页的滚动，获取所需的信息。今天的文章将介绍如何在Java中使用Selenium进行页面滚动，并且提供相应的代码示例和图示。
## 什么是Selenium？
Selenium是一个开源的Web应用程序测试工具。它支持多种浏览器、
### Selenium Java跳转页面完整指南
在现代的Web自动化测试中，Selenium是一个非常重要的工具。它允许开发者和测试人员模拟用户在浏览器中的操作，比如点击按钮、输入信息以及页面跳转等。在这篇文章中，我们将详细讲解如何使用Selenium在Java中实现页面跳转的功能。
#### 过程流程
以下是使用Selenium进行页面跳转的基本步骤：
| 步骤编号 | 步骤描述
原创
2024-09-10 05:55:21
54阅读
显示等待显示等待显性等待（WebDriverWait），WebDriverWait配合该类的until()和until_not()方法，能够根据判断条件而进行灵活地等待了。它主要的意思是：程序每隔多少秒检查一次，如果条件成立了，则执行下一步，否则继续等待，直到超过设置的最长时间，然后抛出TimeoutException。WebDriverWait等待也是我们推荐的方法。在使用前我们需要导入WebD
