本月16日,百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案在北京市第一中级人民法院开庭审理。以往,涉及违反“Robots协议”的事件大多只是通过技术、公关的途径予以解决,而这次则选择了直接通过法律途径解决,言下之意,对“Robots协议”加强法律保护已经势在必行。



    首先简要介绍一下Robots协议,Robots协议也称为爬虫协议、机器人协议,全称是“网络爬虫排除标准”(Robots Exclusion Protocol)。Robots协议的本质在于对搜索引擎形成一种约束,告知他们某个页面是否可以抓取。百度认为,360违反Robots协议,未经允许抓取、复制其网站内容,是典型的不正当竞争,并索赔一亿。



    无论是从百度和360两家公司的行业地位,还是从一亿的高额索赔来看,这起官司在互联网行业的讨论达到了空前程度。从一个互联网人的角度,个人认为法院理应裁定360败诉。一方面,百度的确拿出了很多证据证明360违背了Robots协议,对百度构成了侵权;另一方面,之前网上曾多次报道了有关360因违背Robots协议而导致用户隐私被泄露的事件。 由此可知,Robots协议能否得到法律层面的保护,更好地保护互联网版权和用户个人隐私,就看此一役了。



    为什么这么说?



    实际上Robots协议是一个互联网搜索引擎的“通行”协议。2008年淘宝屏蔽Google、百度等搜索引擎正是利用了Robots协议,理由是欺诈风险,当然,不管淘宝屏蔽的理由是否成立,但Google和百度等搜索均未违背Robots协议,换言之,Robots协议对网站方来说是一个“主动权”。



    此外,京东商城也通过Robots协议屏蔽了阿里旗下的购物搜索引擎一淘,理由是一淘未经允许抓取京东商品评价,而这些评价花费了京东上亿的积分激励资源。京东此举也得到了苏宁易购的效仿。说明,Robots协议对网站方来说也是一个自我保护的利器,虽然搜索引擎能给网站带去大量的流量和用户,但这并不意味着网站允许搜索引擎收录任何网页,而在这种情况下,Robots协议就发挥了作用。



    那么如果搜索引擎违背Robots协议,收录不被许可的内容,则构成了侵权。在去年12月底,国家版权局就曾指出:在百度未授权的情况下,360通过网页快照抓取百度版权作品确属侵权行为。众所周知,近年来国家版权局加大了对违法盗版和侵权的查处力度,但对互联网侵权事件,这次算是态度最明确的一次,也是3B大战之后国家部委对此事件的首度表态。这意味着,对于搜索引擎违背Robots协议收录不被网站授权的内容,国家有关部门已直接将其定义为了“侵权”行为。



    Robots涉及的另一个关键问题是则用户隐私保护。凡是涉及用户隐私的网页,网站一般会通过设置robots协议的方式对用户隐私进行保护。反过来看,违反Robots协议就有可能对用户隐私造成危害。



    此前,360服务器抓取网民隐私存在自己的服务器上,因自身网站的漏洞被谷歌搜索抓取,导致奇瑞汽车内部采购文件、三峡集团财务报表等商业秘密,以及 140万网民隐私被泄露和传播。而宝钢、 AMD、台湾长庚大学等知名机构内部要求卸载360全部产品,正是因为担心内部商业信息和个人隐私可能被上传泄露。



    可见,在违反Robots协议的情况下,用户隐私保护到了何种羸弱的地步。如果360违反robots协议行为不被法律制裁,则意味着泄露用户隐私行为失去了最后的约束。



    目前,包括法律界、学界、技术界的知名人士,以及站长群体都十分关注此次案件的进展,因为Robots协议能否护航版权和用户隐私需看此一役,如果判不好,可能会对整个行业、用户带来极大的负面影响。