搜索引擎即：网络爬虫，又叫蜘蛛，某些搜索引擎的算法较差，爬服务器时严重耗资源，还有可能造成内存溢出。可以设置 robots.txt来禁止爬虫来爬服务器。网站根目录下没有放置robots.txt文件，是允许所有网络爬虫搜索所有文件。在网站根目录下放一个文件robots.txt，但好像不会立刻生效。如要禁止sogou的爬虫，可以在robots.txt这样设置User-agent:Sogou web s
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
