Web Scraper

在写项目时,我们总是会需要测试数据,而这时又不想写代码,如何快速爬取几个数据量不太大的网页?
还有很多需求,于是就有了一个基于Chrome的爬虫插件Web Scraper,它可以快速的帮助我们快速的爬取一些数据量不太大的网页,今天就来介绍一下它的使用。
先让大家看一下效果,数据爬下来后,还可以以excel表格的格式导出,后面都会教大家
这是我导出excel的数据
一款方便的Chrome爬虫插件_excel表格
话不多说,先使用吧

1、下载

这个软件是基于Chrome的一个插件,下载好后添加为扩展程序即可
一款方便的Chrome爬虫插件_Web Scraper_02
一款方便的Chrome爬虫插件_chrome_03
添加进来后我们就可以使用了

2、使用

我们按F12或者Ctrl+Shift+i进入控制台,然后找到我们的Web Scraper,里面是我以前爬过的一些数据模型
一款方便的Chrome爬虫插件_数据_04
然后我们点击Create new sitemap,添入你要爬取数据的地址,名字你随便取就可以了
一款方便的Chrome爬虫插件_数据_05
创建后先添加一个选择器Add new selector,id同样你自己取,这是第一个id,Type要选取Element,这样才能爬出多个元素,然后点击Select,取选择你要爬的数据,红色的就是选中了,然后再勾上Multiple,点击保存
一款方便的Chrome爬虫插件_excel表格_06
这样我们就创建好一级选择器了
一款方便的Chrome爬虫插件_数据_07
然后我们再点进去,再创建一个选择器,选择我们具体要爬的内容,比如我这次需要爬标题,那我选择点击选择标题,Type选择Text,然后保存
一款方便的Chrome爬虫插件_选择器_08
然后我们就可以开始爬数据了
一款方便的Chrome爬虫插件_Web Scraper_09
然后选择时间,网速慢的时间可以设置长一点,不然数据可能会没爬完
一款方便的Chrome爬虫插件_选择器_10
然后数据就出来了
一款方便的Chrome爬虫插件_chrome_11
然后我们在以excel表格的形式导出
一款方便的Chrome爬虫插件_excel表格_12