robots.txt

 

  • 告诉搜索引擎网站哪些页面可以被收录，哪些不能

    检查某些网站的robots.txt：

 

       http://zhanzhang.baidu.com/robots/analysis

 

 

   如何做robots.txt：

 

     http://zhanzhang.baidu.com/robots/generator