写于20210714 北京

要想爬，先反爬。不要作恶！

浏览器监测

  • 监测浏览器插件

navigator.plugins

自动化浏览器和真实浏览器肯定是有一定差别的，插件就是其一，无头浏览器是个空数组，但是还有待检测。

搞爬虫一定要认识的关键字

  • PhantomJS、Selenium、Nightmare、Puppeteer 傀儡师

无头浏览器是一把钢刀利刃，但不是爬虫的重点。

参考

  1. 插件：https://www.webhek.com/post/detecting-chrome-headless.html