nofollow和robots有什么区别

nofollow和robots都有禁止让搜索引擎抓取的含义，很多人总把nofollow和robots搞混淆了，下面就来说说nofollow和robots有什么区别？

在实际优化工作之中，我们经常会遇到一个页面我们不想其被搜索引擎收录的情况，在这种情况下，使用robots非常便捷，一劳永逸。因为你只要在robots中对该页面设置了屏蔽抓取以后，不管你的这个页面在网站中出现了多少次，，都不会被爬虫抓取以及收录；而如果这种情况下使用nofollow标签来进行屏蔽的话，你会发现网站维护起来会异常麻烦，因为网站中的新页面难免会有该链接，生成新的页面都要加一次nofollow标签，一旦有一次遗漏了，就很有可能会被搜索引擎给收录了。还有一种情况则相反，有一个页面我们希望它正常被收录获得排名，但是因为有的页面中关于此链接的重复链接太多了，会造成不好的影响，这时候就不适合用robots来屏蔽了，而是应该使用nofollow标签对部分重复链接进行屏蔽。

nofollow针对的是访问路径进行屏蔽，挡住百度蜘蛛等爬虫的去路，而robots如同一个平台，我们在这个平台上对网站中的部分页面进行登记过了，以后但凡遇到这个链接页面，你都不要再多管了。这里需要注意的是，robots只针对站内页面有效，不能屏蔽站外的链接，而nofollow没有这个限制，这也是nofollow和robots比较重要的一个区别。

robots不仅可以屏蔽站内的页面还可以屏蔽特定蜘蛛及其他网站爬虫程序的访问。比如有的时候，可能你的网站带宽较小，而在网站日志中看到某个没有用处的蜘蛛频繁性地访问你网站，从而让服务器过于拥挤以至崩溃，这时就可以利用robots限制其访问权限。除了可以限制爬虫的访问权限以外，还可以在robots中载明sitemap地址，更有利于蜘蛛注意到sitemap并且快速抓取网站的新内容以及更新的页面。

网页标题：nofollow和robots有什么区别
网页URL：https://www.cdcxhl.com/news/250189.html

成都网站建设公司_创新互联，为您提供App开发、网站内链、手机网站建设、网站设计公司、网站设计、网站制作

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联