发现robots.txt文件存在的限制指令后怎么办？

2016-06-13 分类：网站建设

当我们有时候site网址查看网站快照，可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”，我们可能会觉得奇怪，怎么会出现这种问题呢？难道是搜索引擎的蜘蛛出问题了吗？当然不是的，出现这种情况，大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照，搜索引擎蜘蛛为了遵循网站的robots.txt约定，没有将除title的其他内容展示出来。

那么发现了这个问题我们应该怎么办呢？首先，找到根目录下的robots.txt，用记事本打开，将仔细查看里面的disallow语句，找到disallow:/，对这个就是限制了蜘蛛抓取整个网站目录的指令，把这行去掉，保存退出。然后我们要到百度站长工具里面，重新提交robots文件，目的是为了告诉搜索引擎，我的robots文件已经做了修改，目录限制抓取已经解除。这样，等下次快照更新，你的网站可能就会正常了，当然，有时候百度更新是很慢的，这时候你也不要着急，可能要过一段时间才能正常收录并抓取，只要耐心等待即可。

网站标题：发现robots.txt文件存在的限制指令后怎么办？
文章链接：https://www.cdcxhl.com/news/40812.html

成都网站建设公司_创新互联，为您提供品牌网站设计、域名注册、网页设计公司、ChatGPT、静态网站、云服务器

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容