目录
- 小白如何选择采集器-爬虫
- 前言
- 一、爬虫采集器优点是什么？
- 二、各种采集器的特点
- 总结
前言
爬虫vs采集器，谁更能适合小白使用？
一、爬虫采集器优点是什么？
对于一个简单的采集要求来说，写一个爬虫工具，有点像杀猪用牛刀的感觉。
采集数据只是偶尔需要，或者经常需要换采集要求的，对于写爬虫来说，是一件很浪费时间的事情。
很多常规网站，我可能用工具几分钟就能搞定一个爬虫要求，而你写代码可能就要花很多时间，还要排查错误，入库，判断重复，清洗数据，下载图片等等，一系列的操作，已经很麻烦了，根据内容需求，还有分页，分类，文章分页等等，这些处理，如果你用爬虫写一个，可能需要好几天，还需要爬取测试，整个过程下来，其实你也只是要这一次采集，后面不需要再用了，既花时间，又费钱，实在不划算。所以市面上才会出现爬虫采集器，为的就是能处理那种临时性采集，或者要求不高但采集难度不小的工作。
二、各种采集器的特点
目前，我所了解的采集器有：八爪鱼采集器，火车采集器，爬山虎采集器，后羿采集器，ET采集器，VG采集器，webscraper等等，这些采集器都是我所了解和操作过的，还有其他的采集器也大同小异。
这些采集器，都各自说自家的工具有多厉害，小白多能操作，所见所得，但实际上能真正好用的没几个，其实说的再厉害，只要你操作了才明白，都是一些鸡肋，还有可能让你疯了。大部分采集器功能，都是通过加载网页后，进行模拟人工操作的，如八爪鱼采集器，爬山虎采集器，后羿采集器，webscraper。其实这种采集功能，在采集过程中，你会发现很多问题，比如需要你把网站打开加载内容后，才能继续采集，不然，数据就会因为加载缓慢变空白，再比如瀑布流采集（今日头条），是需要你滚动加载直到无滚动后才可以采集数据，这样的采集体验一点也不理想。很多人，都是因为看到介绍说小白也能做爬虫，采集数据，才会使用他们的工具，实际上，我要说的是，采集本来就不是简单事情，不是你们认为有那么一款万能工具，只要你点点就能采集的，这不可能的，网站千变万化，很多数据你看到的，不一定你能下载到的，比如大众点评的数据是加密混淆的。那我说了这些话，八爪鱼采集器，爬山虎采集器，后羿采集器，webscraper， 是不是说明他们的工具真的没必要存在了，这也不合理，毕竟小白还是很多的，对于一些普通网站，用这些工具也是很方便的。我们不可能让所有人都去了解采集技术的，但是，要经常做采集，采集数据要保证完整的，我还是希望大家都了解一些采集技术，不然那些采集工具真的会让你抓狂的。
采集确实是一个技术性工作，虽然你不需要编写代码，但你还是需要了解采集技术的，没有一劳永逸的，那对于特别需要采集数据，而又不想学爬虫写代码的，有什么工具可以使用的哪？那就只有火车采集器了。我这边并不是在为火车采集器做宣传，是我用了很多工具之后，真正体会到这个工具的好处，我就是因为使用了这个工具，从一个对爬虫什么多不懂，到现在能抓包分析，破解加密，这些多是爬虫技术的一种提升了，当然也有它不好用的地方，但很大部分上来说，这个工具确实很专业，只要你用了这个工具，他会让你从一个小白变成一个采集通的。
