网站有时候会有一些非法的访问或者无意义的访问,比如垃圾的蜘蛛(360 spider, sogou spider等),当网站访问量很大时,蜘蛛的访问会增加服务器的负担,损失性能。对于没有必要的搜索引擎,可以禁掉;而对于百度,谷歌等可以保留



禁止搜索引擎的方法:通过rewrite模块实现,比如禁止sogou spider对网站进行访问,添加以下红色字段

    <IfModule mod_rewrite.c>

        RewriteEngine on

        RewriteCond %{HTTP_HOST} ^www.aaa.com$ [OR]

        RewriteCond %{HTTP_HOST} ^www.bbb.com$ [OR]

        RewriteCond %{HTTP_HOST} ^www.ccc.com$

        RewriteRule ^/(.*)$ http://www.test.com/$1 [R=301,L]

        RewriteCond %{HTTP_USER_AGENT} ^.*sogou.* [NC]

        RewriteRule .* - [F]

    </IfModule>

说明: [NC]表示不区分大小写;[F]表示forbidden禁止访问


尝试用sogou浏览器去访问网站任意一个页面都会显示403 Forbidden,这样就不用担心垃圾蜘蛛捣乱了