评：作者 淘宝 长孙秦 网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。 我们看一下crawler一般会遇到什么样的问题吧
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
