网站制作robots协议应该遵守么？

2013-04-26 分类：网站制作

前些年，网站建设行业的程序猿们肯定有听说过robots协议，而且360与百度两大搜索引擎关于“robots”协议也一直存在争议，百度这边呢，指责360违反商业道德，不遵守“robots协议”，而360又认为百度利用该协议作为不正当竞争的工具，想要垄断整个搜索引擎市场。那么究竟robots协议功能是什么？有什么功能？那就跟随成都创新互联网站建设公司一起来了解下吧！

首先，robots协议全称是Robots Exclusion Protocol，翻译过来是机器人排除协议，又称为爬虫协议、机器人协议，是指网站所有者通过一个置于网站根目录下的文本文件，即robots.txt，提示搜索引擎的网络机器人哪些网页不应被抓取，哪些网页可以抓取。从本质上来说，robots协议是受访网站与搜索引擎之间的一种交互方式。

网站制作

如果把网站比作一个对公众开放的博物馆，robots协议就相当于在博物馆入口处悬挂的提示牌，告知游客哪些区域不对游客开放，如：“本馆三楼301-302室为展品储藏室、四楼为办公区，谢绝参观”。通常情况下，游客会根据提示牌的内容，进行参观游览。提示牌本身没有强制力，如果要防止游客擅自闯入不开放区域，最好的办法是采取一些“技术措施”，如在办公区外设置栏杆，在储藏室门上加锁等。博物馆设置提示牌的目的是为了便于游客更好的参观，提示牌的内容对所有游客应一视同仁。如果提示牌规定禁止某一类人参观，则需要有合理、正当的理由，在缺乏合理、正当理由的情况下，禁止某一类人进入一个对公众开放的博物馆参观显然是不合理的。

从《互联网搜索引擎自律公约》第七条、第八条的规定来看，其包含两个层次的含义，一方面从搜索引擎的角度来说，必须遵守受访网站的robots协议，不得随意抓取，另一方面从受访网站的角度来说，其设置robots协议的行为本身应当具有行业公认合理的正当理由，不得利用robots协议进行不正当竞争行为。

而robots协议设置的初衷也正是如此，为了提示搜索引擎的网络机器人更有效的抓取对网络用户有用的信息，从而更好的促进信息共享。但是对于robots协议存在的不正当竞争行为应该加以限制，也只有这样才可以维护市场环境的公平竞争，从而促进互联网行业的发展。

网站栏目：网站制作robots协议应该遵守么？
本文来源：https://www.cdcxhl.com/news/767.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有网站制作等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容