htyper text markup language 即超文本标记语言 超文本: 就是指页面内可以包含图片、链接，甚至音乐、程序等非文字元素。 标记语言: 标记（标签）构成的语言. 网页的分类: 网页==HTML文档，由浏览器解析，用来展示的 静态网页：静态的资源，如xxx.html 动态网页：html代码是由某种开发语言根据用户请求动态生成的&nb
Selenium 的使用Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript 动态渲染的页面来说，此种抓取方式非常有效。好处：不用再分析网站复杂的通信流程了坏处：效率低一般用在登录环节。 1、准备工作安装Chrome浏览器配置ChromeDriver&nbs
Ajax形式的请求时JS动态渲染的一种手段，我们可以通过requests和urllib库来实现页面数据抓取，但是js动态渲染页面不仅仅是AJAX一种形式，有的网页是由JS直接生成的，并非原始HTML，可能还不包含AJAX请求；例如一些报表工具ECharts 官网的实例，图形都是通过JS生成的；例如淘宝页面，即使是AJAX请求数据，但是接口中包含了很多加密参数，
转载
2024-05-27 21:17:51
73阅读
作为一个爬虫小白，学完了爬取静态网页的基本思路和相关库，于是便开始着手学习如何爬取动态页面。动态网页的定义，在这里就不详细解释了，有疑问的可以自行百度。首先，爬取动态页面，一般有两种方法：1. 有的网页向服务器发出请求，会返回json格式的数据，这个数据里就包含着你要爬取的内容，你只要拿到这个json数据，进行相关处理就行。2. 有的网页想直接拿到这个json数据，却不是那么容易，于是只好采取se
转载
2024-08-05 18:16:42
48阅读
Ajax形式的请求时JS动态渲染的一种手段，我们可以通过requests和urllib库来实现页面数据抓取，但是js动态渲染页面不仅仅是AJAX一种形式，有的网页是由JS直接生成的，并非原始HTML，可能还不包含AJAX请求；例如一些报表工具ECharts 官网的实例，图形都是通过JS生成的；例如淘宝页面，即使是AJAX请求数据，但是接口中包含了很多加密参数，我们很难以找到规则，也因此很难分析AJ
转载
2023-11-07 20:42:19
33阅读
参考：Python3网络爬虫开发实战 问题：Ajax 是javascript动态渲染页面的一种情形，可以通过分析Ajax，然后借用requests和urllib来实现数据爬取。不过Javascript动态渲染的页面不止这一种。比如中国青年网(详见 http://news.youth.cn/gn/), 它的分页部分是由 JavaScript生成的，并非原始 HTML 代码，这其中并不包含
转载
2023-07-11 17:41:25
112阅读
文章目录使用Selenium库例子引入声明游览器对象访问页面查找节点单个节点多个节点节点交互动作链模拟执行javascript获取节点信息获取属性获取文本值获取id，位置，标签名和大小切换Frame延时等待隐式等待显示等待前进和后退Cookies选项卡管理 虽然有些通过ajax动态渲染出来的页面通过对请求链接的分析我们仍然可以使用urllib或requests库来进行数据爬取，但javas
转载
2023-09-05 10:19:39
204阅读
目录元素选择器Selenium 基本使用执行JavaScript获取节点信息获取文本值获取id、位置、标签名和大小切换Frame延时等待隐式等待显式等待前进和后退Cookies选项卡管理异常处理动态渲染页面爬取之新浪股票1小时内10大热门股票 用Selenium来驱动浏览器加载网页的话，就可以直接拿到JavaScript渲染的结果了，不用担心使用的是什么加密系统。Seleniu
转载
2024-06-05 23:04:21
66阅读
我们在爬虫的过程中，有一些动态渲染的页面，我们是请求不到数据的。因此，我们可以直接通过使用模拟浏览器运行的方式实现，那么就可以实现原本浏览器中可以看到的，抓取的数据就是什么样，即所见即所"得"(爬)；此时我们不用再去关心网页中JS使用了什么算法或者结构实现了页面渲染。 Python提供了许多模拟浏览器运行的库，如 Selenium、 Splash、 PyV8, Ghost等Selenium
转载
2023-06-27 11:22:03
363阅读
# 使用 Python 渲染漂亮页面
在当今快速发展的科技时代，越来越多的人希望通过简单易用的工具来创建视觉吸引力强的网页。Python作为一种流行的编程语言，凭借其丰富的库和框架，为我们提供了多种生成和渲染美观页面的方式。接下来，我们将探讨如何使用Python构建一个简单的网页，并引入旅行图例来增强我们的内容。
## 使用 Flask 创建简单网页
Flask是一个轻量级的Web框架，适合
原创
2024-09-27 05:12:20
36阅读
概述： 在项目中，父级到子级结构并不少见，如果仅仅的两层树形结构，我们可以使用数据库的外键设计轻松做到，子级业务表设计一字段外键到父级业务表，这样子到父、父到子的查询都非常简单。 但是往往父子结构会有一级二级三级等等多层规划，因为子结构的层数是不定的，子可以有子，再子；这样的树形下去，外键设计就不可行了。项目说明 设计一个 业务 树形结构规划，多层灵活型结构， 从 建表设计 到  
题目描述「人类不会主动思考。」 曾几何时，天上的神只有一位，然而这话并非出自她口。 那么，这个判定，又是什么样的权威做出的呢？ 「『世界是什么时候开始变成这个样子的？几天前？几个月前？还是很多年以前？抑或原本就是如此，不曾改变？』若没有体验过物是人非，没有人会主动思考这样的问题，人类永远是只记得瞬间的孩子。早上起来第一眼看到什么样的世界，就会本能地认为之前数千年的时光都是这样过来的。只要忍耐或是麻
为了解决异步渲染网页，我们直接模拟浏览器运行的方式来实现，这样就可以左到在浏览器中看到什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就可以不用管网页内部的javascript用了什么算法渲染页面，也就是所谓的js加密，也不用管网页后台的Ajax接口有哪些参数。1Selenium的使用在使用selenium之前，需要安装Driver文件，有ChromeDriver(适用chrome),Ge
转载
2023-10-25 13:33:24
739阅读
上一篇导航流程讲到，网络进程请求到数据回来后，解析响应数据，并让浏览器进程通知渲染进程准备好，准备好后，浏览器向渲染进程发起提交文档的消息，渲染进程接受文档开始渲染。渲染流程机制过于复杂，大致为以下渲染流水线
按照渲染的时间顺序，流水线可分为如下几个子阶段：构建 DOM 树、样式计算、布局阶段、分层、绘制、分块、光栅化和合成。1. 构建DOM树浏览器无法识别HTML，所以得经过HTML解析器输出为
转载
2024-08-05 22:26:54
66阅读
文章目录一.浏览器内核二.浏览器渲染过程1.浏览器渲染主要步骤：三.回流-重绘-合成1.回流2.重绘3.composite合成四.浏览器渲染优化1. 针对JavaScript2.针对CSS3.针对DOM树、CSSOM树4.减少回流和重绘5.defer和async属性 一.浏览器内核浏览器内核主要分成两部分：渲染引擎的职责就是渲染，即在浏览器窗口中显示所请求的内容。默认情况下，渲染引擎可以显示 h
转载
2023-08-25 22:46:13
325阅读
Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 1. 功能介绍和基本实例### Splash的使用
'''
Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的
转载
2024-05-16 01:24:09
92阅读
动态渲染页面爬取JavaScript动态渲染页面，他的分页部分有js生成，并非原始的HTML代码如淘宝使用request只能请求到页面大致框架，无法拿到商品数据，或部分网站换页时url不发生变化。或者使用Ajax开发的网站（如今日头条），他的接口有很多加密处理（搜索信息后信息URL经过加密处理，很难找到规律）Python中提供了很多模拟浏览器的库，selenium ，pyV8等，来解决动态渲染的页
转载
2023-10-26 21:02:06
40阅读
在动态渲染之前，需要在index.html中做好静态布局：<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
转载
2023-06-08 13:25:02
184阅读
Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted和 QT 库，利用它我们同样可以实现动态渲染页面的抓取。1. 功能介绍利用 Splash 我们可以实现如下功能：异步方式处理多个网页渲染过程获取渲染后的页面的源代码或截图通过关闭图片渲染或者使用 Adblock 规则来加快页面渲染速度可执行特定的 Ja
转载
2023-09-18 11:50:47
2925阅读
很多人谈到SEO，那从SEO的角度来谈一谈为什么要服务器渲染，做为一个转行者，应该能写的小白也能看得懂。SEO，又叫Search Engine Optimization，可以理解为网页要为搜索引擎做两件事，一是能让搜索引擎读得到，二是让搜索引擎读得懂。首先Single-page application就在读得到方面就天然劣势，很多搜索引擎，比如Facebot，Twitterbot，会直接解析服务端
转载
2024-10-11 14:47:47
8阅读
