robots.txt文件,SEOER们都知道,就是可以设置你网站的哪些内容允许蜘蛛抓取,哪些不允许蜘蛛抓取的一个文件。今日,据百度站长平台最新消息,用户在百度搜索网址或相关关键字时,网页搜索结果会出现robots提示。简单地说,如果你的网站设置了robots文件,并且是不允许蜘蛛抓取的,而这个网站对用户有是有需要的,百度就是根据你输入的网址或相关关键字展示这个网站,不过,这和其它网站不一样,搜索的结果只出现title中的部分关键字,并且不会出现这个网站的元标签描述部分。对应的元标签描述部分将由最新上线的robots提示代替,比如,用户在搜索淘宝网时,出现“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述 - 了解详情”字样。
![对百度新上线“网页搜索结果robots出现提示”的理解_百度官方](http://www.admin5.com/upimg/allimg/130123/-1-130123154S9238.png)
百度这一动作,意味着什么,笔者就个人看法谈谈百度些次网页搜索结果robots出现提示的意义及特点。
对搜索结果出现robots提示的理解
前面和大家说到,如果你的网站设置了robots文件,而且是禁止百度蜘蛛抓取的,但是你的网站又是百度需要的,用户在搜索该网址或网站名称时,就会出现robots提示。百度官方在提高,百度蜘蛛会根据robots协议来是否抓取,并呈现结果在搜索结果中。从中我们看到,个人认为百度是爬行了这网站,只不过是没去收录并呈现在搜索结果中而已,不过,笔者也测试了一个网站,如果百度蜘蛛没去爬行,就算你的网站写了robots文件,并且是禁止百度蜘蛛抓取的,搜索结果还是不会出现robots提示的,也许是百度认为这网址不是用户有需要的吧。不过,还真不知道蜘蛛是如何确定一个网站是否是用户需要的,个人感觉,一个网站如果禁止百度蜘蛛抓取,如果搜索结果中要出现robots提示,那么这个网站一定是蜘蛛爬行过的,并且是对用户有用的。
![对百度新上线“网页搜索结果robots出现提示”的理解_百度站长_03](http://www.admin5.com/upimg/allimg/130123/-1-130123154ZCG.png)
搜索结果出现robots提示是为提升用户体验
像淘宝这样的大网站,知名度那么高,虽然很多用户在访问淘宝网时不会出现去百度搜索,而是直接访问淘宝网,不过,如果用户在百度搜索结果中出现找不到结果,明显是对用户体验不好的,百度这一举动,可以说是在不断地提高用户体验。前些天笔者在用google的时候就发现了这一功能,明显,google比百度这在方面做得更好,因为笔者一个网站在改版时,设置了robots文件禁止google robot抓取,所以返回的结果就像百度网页搜索结果一下,出现了robots提示。