本文以一个示例简单的介绍一下puppeteer的用法，我们的目的是：获取我博客上的文章的前十页的所有随笔的标题和链接。由于puppeteer本身是自动化chorme，因此这里我们的步骤和手动操作浏览器差不多：打开chrome，跳转到博客首页 获取所有博客标题信息 点击下一页按钮，跳转到下一页 重复2、3两步，直到所有信息采集完毕 获取信息 采集过程中比较麻烦的一步就是信息的采集，和传统采集html
转载
2024-10-19 19:42:32
138阅读
1、截图使用 Puppeteer 既可以对某个页面进行截图，也可以对页面中的某个元素进行截图：(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
//设置可视区域大小
await page.setViewport({widt
转载
2024-05-07 17:32:42
88阅读
本篇文章针对大家熟知的技术站点作为目标进行技术实践。确定需求 访问目标网站并按照筛选条件（关键词、日期、作者）进行检索并获取返回数据中的目标数据。进行技术拆分如下：打开目标网站找到输入框元素输入关键词，找到日期元素设置日期，找到搜索按钮触发搜索动作解析搜索返回的html元素构造目标数据将目标数据保存编写代码'use strict';
const puppeteer = require('pupp
转载
2024-07-11 05:47:32
54阅读
sniffer原理现在人们谈到黑客攻击，一般所指的都是以主动方式进行的，例如利用漏洞或者猜测系统密码的方式对系统进行攻击。但是其实还有一类危害非常大的被动攻击方式往往为大家所忽视，那就是利用Sniffer进行嗅探攻击。
Sniffer，中文可以翻译为嗅探器，是一种威胁性极大的被动攻击工具。使用这种工具，可以监视网络的状态、数据流动情况以及网络上传输
转载
2024-09-19 20:24:58
42阅读
前言Puppeteer的中文直译是操纵木偶的人，是一个提供顶层API来控制基于DevTools Protocol的Chrome/Chromium的Node库。默认，它是运行在Chrome/Chromium的headless模式下，但是也能改变它的配置，使其运行在full(non-headless)模式下。总结一句话就是，Puppeteer就是一个运行在Node环境的浏览器Puppeteer为我们提
转载
2024-05-27 20:19:41
10阅读
01 格式刷格式刷就是快速把文字或图片的格式刷到指定的文字或图片上。本次技巧在于双击格式刷可以进行跨页刷(可以一直刷，真爽，比刷题简单多了) 这是刷文字 这是刷图片02 取色器点击取色器，然后长按鼠标左键拖住，可以吸到ppt之外的颜色。是不是很方便，这样网上很多的配色卡也可以直接用来。(真是太机智了) 03 字体嵌入文件当你运用了一些很高级的文字，然后要拿去别的电脑演讲时，
转载
2024-08-13 16:30:35
82阅读
上周接到接到一个需求，将某个页面整体截图，并定时发送邮件。这里我将其拆解成三个大步骤：1、实现页面整体截图2、发送邮件3、定时发送本文主要记录实现截图过程中遇到的一些问题和整体复盘。一、实现过程中遇到的问题1、页面中存在竖向滚动，如何截全屏？涉及知识点： puppeteer 模拟滚动实现过程中参考了 Puppeteer前端检测最佳实践 - 知乎 这篇回答中的答案。前期尝试 通过配置 fullPag
转载
2024-07-23 14:21:45
101阅读
前天晚上，小编在网上冲浪的时候，看到很精彩的小说，可是因为时间太晚为了不耽误明天的工作。于是小编就将这篇小说保存电脑里了，准备留着下次继续阅读。可是问题就产生了，原来这篇文章的保存方式是PDF格式，小编保存在电脑里根本没办法打开。而且小说内容太多，全部保存太占空间，还要花费多余的时间翻阅到阅读到的位置。
在php中要获取当前页面url地址方法很简单，下面我来给大家总结一下利用相关函数获取完整页面url地址的实例。PHP的预定义变量$_SERVER是一个包含头部(headers),路径信息及脚本位置的数组,数组的实体由web服务器创建.利用$_SERVER数组，我们可以获取URL完整路径及真实路径，让自己随心所欲的运用它们.$_SERVER['SERVER_NAME'] // 当前运行脚本所在服务器
# Java与HTML结合获取当前页数的科普文章
在Web开发中，经常需要在Java后端与HTML前端之间进行数据的交互。其中，获取当前页面的页数是一个常见的需求。本文将介绍如何使用Java结合HTML来实现这一功能，并通过代码示例和图表来详细解释整个过程。
## Java与HTML的交互基础
在Java Web开发中，我们通常使用Servlet来处理HTTP请求。Servlet可以生成HT
原创
2024-07-29 06:42:27
18阅读
In this lesson we are going to use Google's Puppeteer to gather metrics about a page's load time. We'll use a high level date subtraction method as we
转载
2018-02-20 16:49:00
97阅读
2评论
连接浏览器上一篇说到了Puppeteer本质是使用了Chrome Devtools协议控制浏览器，本篇就说说连接方式。常规Hook浏览器此方式其实就是需要一个浏览器可执行文件（不同平台需要下载对应平台文件），Puppeteer有两种方式，一种是安装Puppeteer包时下载的文件，另一种是自己下载文件通过环境变量指向文件路径就可以了（上篇文章有详细介绍），下面的演示为了视频我使用headless:
转载
2024-05-19 12:15:26
354阅读
在CSDN上看到很多问怎么在PPC上实现程序全屏的。我这里收集整理了一下。先帖出我测试通过的代码。
1.实现全屏
RECT rc;
SetRect(&rc, 0, 0, GetSystemMetrics(SM_CXSCREEN), GetSystemMetrics(SM_CYSCREEN));
::MoveWin
爬虫cookie获取神器推荐——EditThisCookie且魔改内容简介： 1、使用EditThisCookie2、魔改源代码来实现更加高效的cookie保存。EditThisCookie是一个cookie管理器。可以添加，删除，编辑，搜索，保护，并阻止cookie等等操作，并且这个工具是开源的。GitHub链接：点击跳转使用场景对于爬虫玩家来说操作cookie是一件很繁琐的事情。 1、比如在复
学习PromisePromise的含义Promise是一个对象，从它可以获取异步操作的消息。简单来说，Promise像一个容器，其中保存着异步操作的结果。特点Promise对象代表一个异步操作，有三种状态：pending（进行中）fulfilled（已成功）rejected（已失败） 对象的状态是由异步操作的结果来决定的，与外界无关。Promise对象的状态改变只有两种可能：从pending变为f
System.out.println("head.referer=" + request.getHeader("referer"));
System.out.println("RemoteHost=" + request.getRemoteHost());
System.out.println("getRemoteAddr=" + request.getRemoteAddr()+ ":" + re
转载
2023-06-10 22:20:34
90阅读
之前用express框架搭建一个后台管理应用，主要是学习node如何编写接口。今天带大家学习node如何实现过滤器，以及用户信息状态如何存储。 先来了解中间件：cookie-parser模块与express-session模块。 cookie-parser模块：这个是为了方便操作客户端中的cookie值，区别于session。npm i cookie-parser --save
app.js文件
转载
2024-02-17 09:23:40
219阅读
Docker默认文件空间MB、如果puppeteer运行的时候超过这个内存就出现了、Page crash。可以使用docker run shm size=256m指定一个更大的内存即可。
转载
2019-08-14 14:50:00
316阅读
2评论
page对象是puppeteer最常用的对象，它可以认为是chrome的一个tab页，主要的页面操作都是通过它进行的。Google的官方文档详细介绍了page对象的使用，这里我只是简单的小结一下。
客户端模拟
页面模拟设置相关函数有如下几个，
page.setViewport: 设置视图大小
page.setUserAget: 设置UserAgent
page.SetCookie： 设置Coo
转载
2018-05-19 12:23:00
848阅读
2评论
下载文本中的网页源码，由于需要向下拉动滚动条所以使用pyppeteer渲染网页，并执行js代码，可是发现开启无界面的时候似乎执行不了js代码，还有异步的时候好像也执行不了js代码环境部署pip installpip install pyppeteer -i https://pypi.douban.com/simplechromium下载chromium下载地址：https://npm.taobao
转载
2024-05-09 12:28:21
1047阅读
