背景最近产品觉得我们网站在百度收录上排名太靠后了，又不肯花钱，就让我们想办法提升网站的SEO。由于项目是用vue3写的，并且已经迭代多个版本了，用nuxt实在不适宜，当然俺的开发水平也不够，周期也会拉得很长，此时！想偷懒的我看到了puppeteer，可以一试！原理实际上就是当普通用户访问我们的网站时，访问的就是单页面应用，但是当爬虫访问我们的网站时就会被转发到puppeteer服务上，传送给爬虫的
PageHelper是项目中常用的分页插件，它在完成分页的过程中会执行两条SQL：limit分页sqlcount查总数sql（在不关闭插件count的前提下）对于百万级以上的数据表，只要添加好索引，limit语句的速度很快，但是count语句的速度可能会非常慢，导致出现慢sql。下面结合项目中实际遇到的一次慢sql优化，对PageHelper插件的count效率优化做一个总结。问题描述项目中存在如
转载
2024-09-26 20:41:58
129阅读
Freescale PowerPC处理器优势飞思卡尔半导体的PowerPC 处理器是RISC嵌入式应用的理想基础平台。优势一：价格§PowerQUICC处理器集成丰富 I/O接口 PowerQUICC处理器集成以太网和存储器控制器，安全硬件加速引擎PowerQUICC处理器集成普遍常用的 I/O接口:USB, PCI, PCI-Express, SATA ,UART,I2C,SPI,SRIO等§这
一、Puppeteer 介绍Puppeteer 翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。Puppeteer是一个Nodejs的库，支持调用Chrome的API来操纵Web，相比较Selenium或是PhantomJs,它最大的特点就是它的操作Dom可以完全在内存中进行模拟既在V8引擎中处理而不打开浏览器，而且关键是这个是Chrome团队在维护，会拥有更好的兼容性和前景。
二、P
转载
2024-07-04 15:44:30
28阅读
Perf 内置于Linux 内核源码树中的性能剖析工具。它基于事件采样原理，以性能事件为基础，支持针对处理器相关性能指标与操作系统相关性能指标的性能剖析。可用于性能瓶颈的查找与热点代码的定位。linux2.6及后续版本都自带该工具，几乎能够处理所有与性能相关的事件。perf top 是比较常用于展示占用CPU始终最多的函数或者指令，一般以此来查找热点函数。 实战root@xxxx:~#
转载
2024-05-05 21:49:18
77阅读
译者：CK星空，本文由DevOps时代高翻院翻译整理发布网站性能测试从来没有像今天这么重要。测试的工具有Lighthouse,WebPagetest,PageSpeedInsights,或只是浏览器中的性能面板。在这篇文章中，我会利用Puppeteer进行网站自动化测试。1、被测试的应用程序2、NavigationTimingAPI3、ChromeDevTools性能时间轴面板-首次有意义绘图4、
原创
2021-03-14 19:55:22
854阅读
批量截图任务作为一个软件工程师，不只是做好自己的本职工作（iOS），而是需要解决项目中的技术问题。这次就是解决自动截图的问题 早期公司的数据工程师利用 phantomjs 来截图，后期不断发现截图效率低，加之开发者团队不再维护，因此决定将截图这部分跟你剥离开来，以后方便开发维护。我就承担了这个工作puppeteerPuppeteer is a Node library which provides
Mac 截图工具 iShot Pro -软件介绍、下载安装详细教程iShot -优秀，功能齐全的区域截图，窗口截图，多窗口截图，长屏幕截图，shell截图，时间间隔截图，快速注释，纹理，颜色匹配，屏幕录制，音频录制，OCR, Mac上的截图翻译。下载安装1.下载安装文件下载地址：iShot Pro ⇲2.开始安装打开我们刚刚下载好的 dmg 安装包，如下图，打开后将左侧图标移入右侧安装成功3.打开
转载
2024-02-29 14:06:07
193阅读
一、数据库最大连接数问题当你在后台日志中，发现大量“connection refused because too many open connections: 819”信息时，一般
转载
2022-09-28 16:54:47
49阅读
1. 传统架构
1.1. Rsync方式说明：在生产环境上部署rsync传输脚本并设置定时，按天或按小时将日志传输到日志收集服务器 1） 优点对生产服务器和日志收集服务器造成的压力较小数据较精确，且可以比较方便的重复运行2） 缺点不能实时或者方便的得到想要的统计数据不方便实施分布式需要对每种日志正价同步脚本和设置定时，维护起
转载
2024-07-29 16:41:29
34阅读
目录 1、性能调优攻略 转自：http://coolshell.cn/articles/7490.html 2、网站性能优化的三重境界 转自：http://www.raychase.net/311 3、Where SLOW 转自：http://huoding.com/2014/09/30/375 1
原创
2022-09-20 14:30:09
61阅读
你是否遇到过需要收集大量数据的问题？比如需要分析市场趋势，或者是想要了解某个领域的发展动态。手动收集这些数据既费时又费力，而且很难保证数据的准确性和完整性。那么有没有一种方法可以快速高效地收集大量数据呢？Python拥有丰富的第三方库和工具，其中最为流行的就是爬虫库。本文将介绍如何使用Python爬虫一天内收集数百万条数据。确定数据来源在进行数据收集之前，首先需要确定数据来源。数据来源可以是网站、
CPU 调度测试perf bench sched pipe# Running 'sched/pipe' benchmark: # Executed 1000000 pipe operations between two processes Total time: 4.549 [sec] 4.549952 usecs/op 219782 ops/sec &nbs
原创
2023-01-31 00:21:31
156阅读
一、数据库最大连接数问题当你在后台日志中，发现大量“connection refused because too many open connections: 819”信息时，一般
转载
2023-04-25 16:41:13
337阅读
0.首先你得有一个能扛住爬虫的可以计算黑白名单的数据库，当然我们选择redis，单台 qps 达到20000+，杠杠的，然后你得在不影响业务的情况下来验证爬虫，我们可以通过异步读取nginx的access.log进行校验，前台只需要在关键的功能点判断一下ip是否在黑名单即可1. 同一个ip在某个功能点一秒两次请求算爬虫，将ip加入黑名单，防住大部分的爬虫2 .截取一段请求列表，如果某一个usera
转载
2024-08-19 13:42:01
83阅读
“ 大数据时代，衍生出了许多跟数据相关的公司和行业。在这个数据为王的时代，每个人都必须掌握一手获取数据的能力！” 01—什么是Puppeteer? Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。我们来看看Puppet
转载
2024-05-27 16:13:51
83阅读
IBM 小型机当遇到性能问题时,比如内存瓶颈时,通常使用aix操作系统自带的nmon工具来收集性能收据。工具格式：/usr/bin/nmon -f -t -r nmon -s 120 -c 720 //每2分钟收集一次，一共收集720次，刚好是24小时。
原创
2017-02-28 17:37:27
1610阅读
1.新建项目目录2.打开gitbush（常用的Terminal都可以）3.键入npm i puppeteer 4.等。。。。。。待安装 ps:安装会带一个Chromium 还是挺大的。。 到这里基本上就算安装完成了。 官方栗子：
转载
2024-04-29 17:55:21
97阅读
1、截图使用 Puppeteer 既可以对某个页面进行截图，也可以对页面中的某个元素进行截图：(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
//设置可视区域大小
await page.setViewport({widt
转载
2024-05-07 17:32:42
88阅读
Puppeteer 爬虫技术实践信息简介Puppeteer是Chrome开发团队发布的一个通过Chrome DevTool Protocol来控制浏览器Chrome(下文若无显式称呼Chromium，浏览器都同指Chromium吧，至于Chrome、Chromium的区别大家自行搜索吧）的一组基于NodeJS的API包，即通过Puppeteer提供的方法可以达到控制Chrome的目的。技术细节Pu
转载
2024-08-22 10:43:05
61阅读
