python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_数据可视化

小编最近在和同学聊天的时候,同学就感慨道,如今的各个网站的反扒手段是越来越厉害,前几天写的程序,过几天就没法用了,尤其像是大流量网站,例如某宝和某东,做的反扒真是越来越难,逼得他程序写起来也越来越复杂。而我劝他不要再自己造轮子了,快来试试Google的爬虫插件吧。

小编今天就为大家推荐一个chrome浏览器的爬虫插件神器——web scraper。让大家只需要简简单单的几个操作,不需要写哪怕一行代码,就可以爬取到我们想要的数据内容。

01.什么是web scraper

web scraper是谷歌提供的网页爬取插件,可以很方便的爬取数据。此外,web scraper插件会将数据爬取出来生成excel表格,供我们使用。非常方便,简直就是懒人的福音啊!

02.如何安装web scraper

对于scraper的插件,小编已经为大家准备好,大家只需要下载后,任意解压到指定的文件夹,然后在chrome浏览器中输入chrome://extensions/。按照下图的方式进行插件加载即可。

python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_chrome_02

上图中,首先启动开发者模式,然后点击“加载已解压的扩展程序”。选择我们解压好的scraper文件夹,然后点击选择文件夹即可完成scraper插件的安装。

03.如何使用scraper插件

对于scraper的插件使用,下图所示:

python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_github_03

上图中,首先在开发者模式下打开Scraper,然后创建新的Sitemap,并将网页的url链接填写到Start URL中,对于Sitemap name的命名,大家可以随意进行填写。点击Create Sitemap后,即可创建一个新的SItemap。在创建Sitemap后,接下来的操作才是最重要的,如下图所示:

python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_数据可视化_04

上图中首先选择Add new selector,然后在Type中选择link,并点击Select。在网页中点击不同商品的链接,scraper会自动提取商品的url链接,并生成selector链接,点击Done selecting即可。

python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_eclipse_05

  • 上图中,在点击Done selecting后,勾选Multiple(因为是爬取多个商品url),这里的Delay可以采用默认的值,或者是自己添加一个数值。
  • 并点击Save selector。然后在Sitemap underwear下点击Scrape,点击Start Scraping后,scraper便会帮我们爬取到各个商品的url链接。
  • 在上图的Sitemap underwear下拉菜单下,点击Export data as CSV后,即可将爬取到的数据保存为csv文件并下载下来。如下图所示:

python 爬虫Chromedriver插件 chrome浏览器爬虫插件开发_eclipse_06

04.Scraper爬取多页的链接

怎么样,是不是scraper非常的好用,不仅如此,scraper还能够进行翻页并爬取多页的信息。

为了更好的为大家进行展示scraper的运行,并让大家体验到scraper的便捷性。小编特地用视频的方式展现了:

视频演示

这个插件还是很牛逼的,其实原理就是用selenium 打开chrome浏览器进行爬取,只是google这个插件帮我们集成了好了。有兴趣的小伙伴可以试一下。