在写项目时,我们总是会需要测试数据,而这时又不想写代码,如何快速爬取几个数据量不太大的网页?
还有很多需求,于是就有了一个基于Chrome的爬虫插件Web Scraper,它可以快速的帮助我们快速的爬取一些数据量不太大的网页,今天就来介绍一下它的使用。
先让大家看一下效果,数据爬下来后,还可以以excel表格的格式导出,后面都会教大家
这是我导出excel的数据
话不多说,先使用吧
1、下载
这个软件是基于Chrome的一个插件,下载好后添加为扩展程序即可
添加进来后我们就可以使用了
2、使用
我们按F12或者Ctrl+Shift+i进入控制台,然后找到我们的Web Scraper,里面是我以前爬过的一些数据模型
然后我们点击Create new sitemap,添入你要爬取数据的地址,名字你随便取就可以了
创建后先添加一个选择器Add new selector,id同样你自己取,这是第一个id,Type要选取Element,这样才能爬出多个元素,然后点击Select,取选择你要爬的数据,红色的就是选中了,然后再勾上Multiple,点击保存
这样我们就创建好一级选择器了
然后我们再点进去,再创建一个选择器,选择我们具体要爬的内容,比如我这次需要爬标题,那我选择点击选择标题,Type选择Text,然后保存
然后我们就可以开始爬数据了
然后选择时间,网速慢的时间可以设置长一点,不然数据可能会没爬完
然后数据就出来了
然后我们在以excel表格的形式导出