为什么robots禁止抓取了但搜索引擎还会抓取

2023-03-25    分类: 网站建设

问题:为什么robots禁止抓取了但搜索引擎还会抓取?

回答:严格来说robots限制蜘蛛抓取,搜索引擎也是会遵循这个规则的,现在百度搜索引擎对于robots的态度是,依然会抓取,但是不会保留百度快照。其他搜索引擎基本也是同样的。

在百度百科里面有这么一条:robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。

设置robots禁止抓取主要是基于两个原因:第一个是新站调试期间,不想让搜索引擎抓取;第二个就是网站下某些目录页面,不想被搜索引擎抓取。对于第一种,如果完全不想让搜索引擎抓取,你建议在本地测试,或者是采用其他的域名绑定线上测试,测试没有问题之后再绑定目标域名。至于第二种,其实是没有办法的,因为如果搜索引擎不按照robots规则,那我们似乎也没有什么好的办法阻止,如果搜索引擎收录了这些限制抓取的页面,只能去投诉快照了。

但是大家也要注意,搜索引擎抓取robots文件限制的页面,这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额,除了网站首页以后,也很少发现会收录robots限制抓取的内页。所以,大家也不要太过担心,搜索引擎想抓就让它去抓,如果收录了,就去投诉申请删除。

另外有朋友担心安全的问题,搜索引擎蜘蛛只是一个工具,它本身是没有恶意的,只是会按照规则去工作。大家也不要把搜索引擎想得那么坏,如果网站没有敏感的内容,在不影响到网站优化的情况下,让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦!

关于为什么robots禁止抓取了但搜索引擎还会抓取的问题,本文就简单的说这么多。总之来说,理论上搜索引擎还是会遵循robots规则的,不会胡乱收录这些禁止收录的页面。

分享文章:为什么robots禁止抓取了但搜索引擎还会抓取
网站网址:https://www.cdcxhl.com/news/247563.html

成都网站建设公司_创新互联,为您提供微信公众号云服务器网页设计公司网站营销做网站网站策划

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

绵阳服务器托管