网站用robots文件禁止抓取还会被索引收录吗

2023-04-11    分类： 网站建设

SEO的一些基础上的东西总是容易被人忽略，比方说robots文件。之前的文章有多次提到过这份文件的重要性，网站优化诊断的其中一项就是检查有无做这份文件，是否规范。之前的文章有提到过这么一句：如果网站的robots协议文件禁止了搜索引擎蜘蛛，那么无论你怎么优化都不会被收录。


趁着写这篇文章，给这句话做个纠正，请大家认真阅读并且理解。如下：


如果你的网站添加了robots协议文件，并且设置了禁止搜索引擎蜘蛛的指令，那么你的网站内容将不会被抓取，但有可能会被收录（索引）。


有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？这是什么意思呢？这个问题这里先不解释，大家先看看下面的图片吧。

网站用robots文件禁止抓取还会被索引收录吗

如图所示，以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到，这里收录了很多淘宝网站的页面，显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题，这些页面抓取的描述内容都是提示了这样一段文字：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。


robots禁止搜索引擎蜘蛛后为什么会被收录呢？


这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。


还是先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。


一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。


分享标题：网站用robots文件禁止抓取还会被索引收录吗
本文链接：https://www.cdcxhl.com/news/253177.html

成都网站建设公司_创新互联，为您提供企业网站制作、建站公司、定制网站、关键词优化、动态网站、网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

网站优化排名

网站建设知识

行业建站