百度滥用Robots协议360不会坐以待毙

“三百大战”让Robots协议从台前走向幕后,这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师Martijn Koster在1994年首次提出的“Rob

百度360大战

“三百大战”让Robots协议从台前走向幕后,这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师Martijn Koster在1994年首次提出的“Robots协议”,缘何被百度作为尚方宝剑,屡屡提及,又试图将其作为行业标准拿出来规范市场,甚至作为互联网法则来约束竞争对手?

原生Robots协议是网站指导爬虫的善意性提示文件,Robots协议作为一个TXT文件,是网站内容为了更有效率的被搜索引擎索引,而为爬虫做出提示,只用允许和不允许两种语句表示建议抓哪些内容,不建议抓哪些内容,所有这些提示性建议都是善意的,这种善意的提示一般会被爬虫接受。

然而,百度通过白名单、黑名单的机制,限制360搜索引擎索引其内容,而允许其他搜索引擎索引其内容,显而易见是有备而来,是把360作为假想敌,意欲置之死地而后快。这种强加特殊机制到Robots协议中,完全是出于商业利益,完全违背了Robots协议的初衷。

Robots是一把双刃剑,适用会优化搜索结果,而滥用则会造成整个行业的混乱。百度把它当成一个竞争攻略,为自己设置一个竞争壁垒,让每个网站在前面都能搜,百度蜘蛛能搜索都抓取,别人都不能抓取。

百度作为搜索引擎提供商、服务提供商和内容提供商。从数据库的素材来说,百度可能没有权利,因为这不是百度原创的内容。如果百度数据库里面的素材在汇编方面有独到性的话,可以作为汇编作品的版权拥有者主张汇编作品的权利。如果360由于大规模抓取百度数据库里面的内容,导致影响到或涉及到百度对素材的编排方式的时候,百度就可以认为360侵犯了百度汇编作品的版权人权利。

百度试图通过自身的影响力,说服行业主管部门和行业协会,把Robots协议生搬硬套到中国作为行业标准,以此对搜索领域的对手进行包抄围剿。百度的所作所为非但没有尊重“Robot协议”的本质,反而将“Robot协议”变成了不正当竞争的凶器,成为遏制竞争对手的路障。

通过长达七年的技术积累,依靠360浏览器和360安全网址站两个强势的互联网入口。360搜索引擎推出1年后,拿到了近20%的市场份额,使得中国互联网搜索引擎行业重新有了活力,百度一家独大的局面受到冲击。

百度滥用Robots协议,不仅有损互联网的平等、分享精神,也违反了不正当竞争法;不仅阻碍了互联网的健康、有序发展,也给自己挖了一个陷阱,使自己从一个极端走向另一个极端。

  • 发表于 2021-04-05 14:34
  • 阅读 ( 391 )
  • 分类:互联网

0 条评论

请先 登录 后评论
黑白网络
黑白网络

79736 篇文章

你可能感兴趣的文章

相关问题