robots.txt文件是什么?robots.txt的写法

2022-06-19    分类: 网站建设

robots.txt是一个纯文本文件,是搜索引擎访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。每个站点最好建立一个robots.txt文件,对网站SEO优化有很很好的作用。

  每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt(即使这个robots.txt文件只是一个空文件)。

  robots.txt的写法(语法)

  1)User-agent: 该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*,则该协议对任何机器人均有效。

  2)Disallow: 该项的值用于描述不希望被访问到的一个URL,一个目录或者整个网站。以Disallow开头的URL 均不会被搜索引擎蜘蛛访问到。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问。

  3)用法举例:

  网站目录下所有文件均能被所有搜索引擎蜘蛛访问

  User-agent: *

  Disallow:

  禁止所有搜索引擎蜘蛛访问网站的任何部分

  User-agent: *

  Disallow: /

  禁止所有的搜索引擎蜘蛛访问网站的几个目录

  User-agent: *

  Disallow: /a/

  Disallow: /b/

  禁止搜索引擎蜘蛛访问目录a和目录b

  User-agent: Googlebot

  Disallow:

  只允许某个搜索引擎蜘蛛访问

  您应该限制网站某些文件不被蜘蛛抓取。

  一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

本文标题:robots.txt文件是什么?robots.txt的写法
URL地址:https://www.cdcxhl.com/news/169034.html

成都网站建设公司_创新互联,为您提供微信公众号全网营销推广响应式网站网站内链微信小程序App设计

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

h5响应式网站建设