从淘宝第一个开始屏蔽百度以来,国内很多主流的 SNS 网站和大型的内容性质的网站都开始或即将开始屏蔽百度了,这些网站包括校内网、海内网等国内主要SNS网站,以及搜狐博客、51.com等网站。从SNS 社区的说法,他们屏蔽搜索引擎是为了保护用户的隐私,但更多的是在保护自己的利益,比如说淘宝是在保护其极为客观的商品信息,而SNS是在保护对其最有价 值的用户信息,特别从搜狐博客来看,更多的是希望提高其搜狗搜索的内容价值,总的来说,东西绝非单纯,纯粹是一种商业上的运作了,淘宝网敢第一个站出来跟 百度斗,其他预谋已久的各大SNS网站跟着后头就跟着杀出来了。

  

  附一些主要网站的 robots.txt 文件,证明一下百度是如何被屏蔽的。

http://www.xiaonei.com/robots.txt
# Robots.txt file from http://www.xiaonei.com
# All robots will spider the domain

User-agent:BaiduSpider
Disallow:/

http://blog.sohu.com/robots.txt
User-agent: Googlebot
Disallow:

User-agent: baiduspider
Disallow: /

User-agent: Nutch
Disallow:

User-agent: *
Disallow: /

http://www.taobao.com/robots.txt
User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /