robots.txt是什么?怎么运用

2022-12-26    分类: 网站建设

作为一个网站建设加优化的公司,是必须要回的就是robots.txt文件,所以我们就来看看这个文件的意思

robots.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗

当蜘蛛访问一个站点时,它会首先检查该站点是否存在robots.txt

如果找到,蜘蛛就会按照该文件中的内容来确定抓取的范围

如果该文件不存在,那么蜘蛛就沿着链接直接抓取

网站建设

robots.txt的作用

1、防止私密或重要内容被搜索引擎抓取

2、节省服务器资源,从而提高服务质量

3、减少重复抓取,提高网站质量

4、指定sitemap文件位置

robots.txt是什么

User-agent: *

针对哪个搜索引擎蜘蛛

这里的*代表搜索引擎种类,*是通配符

Allow

定义的是允许蜘蛛抓取某个栏目或文件

Allow: /cgi-bin/

这里定义是允许访问cgi-bin目录

Allow:/* .htm$

允许访问以".htm"为后缀的URL

$指的是匹配行结束符

*指的是匹配任何字符

网站建设

Disallow

定义的是禁止蜘蛛抓取某个栏目或文件

Disallow: /admin/

这里定义是禁止抓取admin目录

Disallow: /cgi-bin/*.htm

禁止抓取/cgi-bin/目录下的所有以".htm"为后缀的URL

Disallow: /*?*

禁止抓取网站中所有包含问号 “?”的网址robots.txt是什么

用法:sitemap:http://www.google.com/sitemap.xml

sitemap:URL全称(包含http://部分)

告诉搜索引擎蜘蛛这个页面是网站地图

robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况,而robots meta标签则主要是针对某个具体的页面

分享标题:robots.txt是什么?怎么运用
网址分享:https://www.cdcxhl.com/news/225334.html

成都网站建设公司_创新互联,为您提供网站收录手机网站建设网站维护网页设计公司商城网站网站内链

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站制作