昨天开通了自己的小站，打算把爬虫全部禁了，找了一下爬虫设置的规则，参考这里。 顺便查看了一下国内几个比较著名的大站的爬虫设置规则，发现英雄所见还挺略不同的。 1.淘宝和百度 这个曾经闹得很火，相信新闻大家都看了。看下面淘宝的规则: <!-- http://www.taobao.com/robots.txt --> User-agent:
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
