robots.txt，nofollow与noindex这三个功能，有很多站长都很熟悉，也经常用来阻止搜索引擎，但是对于 robots.txt，nofollow与noindex这三者之间的区别理解的不是很深刻，对于何时使用robots.txt，nofollow与 noindex三者中的一个也不是很准确。下面就为大家分析robots.txt，nofollow与noindex的作用：
1.Robots.txt：Robots.txt禁止搜索引擎访问这个其禁止的URL,但是允许搜索引擎索引它，并可以在搜索结果页面显示；
大家都知道淘宝在其Robots.txt设置了禁止百度蜘蛛爬行，但在百度中查询“site:www.taobao.com”还是现示一条记录。
2.NoIndex：在页面的Meta中设置NoIndex，允许搜索引擎访问这个URL,但不允许搜索引擎索引它，且不允许在搜索结果页面显示；
3.Nofollow：在链接中设置Nofollow属性，允许搜索引擎访问这个URL，允许搜索引擎索引它，在搜索结果页面显示，但不传递PR值；
对于那些robots.txt中禁止的URL，最好在有链接至这些URL的页面的a属性中添加“rel=”nofollow””,以免禁止PR值传递至这些页面，从而增加其他页面的PR;
如果你的那些robots.txt中禁止的URL已经获得了PR,可以使用meta：noindex, follow 来使其PR传递至你网站上的其他有效页面。