robots文件

2022-06-16 分类：网站建设

搜索引擎蜘蛛访问网站时会先看网站根目录下有没有一个命名为robots的纯文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取网站某些内容或者指定允许搜索引擎抓取某些内容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳网站制作认为，只有在需要禁止某些内容时，写robots.txt才有意义。robots文件不存在或者空文件都默认意味着允许搜索引擎抓取所有内容。有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息。而不是404状态码，还有可能会使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在根目录下。
深圳做网站实践得出结论，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎将不再访问或者不抓取。但要注意，被robots文件禁止抓取的URL还是可能会出现在搜索结果中，只要有导入链接指向这个URL，成都建网站认为搜索引擎就知道这个URL的存在，虽然不会抓取页面内容，但是可能一下几种形式还是会显示在搜索结果中：
1.只显示URL，没有标题，描述。谷歌通常这么处理。
2.只显示开放目录或者雅虎等重要目录收录的标题和描述。
3.导入链接的锚文字显示为标题和描述。百度通常这样处理。
总之，只要想让URL完全不出现在搜索结果中，需要使用页面上的meta robots标签。

网页名称：robots文件
转载来于：https://www.cdcxhl.com/news/167759.html

成都网站建设公司_创新互联，为您提供网站设计、网站营销、品牌网站设计、网站维护、静态网站、外贸建站

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容