做SEO优化 robots文件怎么写？

SEO优化人员在建站的时候会跟robots文件打交道，这个文件是什么?能够对网站起到什么作用?今天跟着创新互联SEO来一起了解一下具体内容，帮助你更好的开展搜索优化工作。

通俗的来讲robots.txt文件是一个纯文本文件，是我们网站和搜索引擎蜘蛛的协议文件，就和合同一样，在搜索引擎抓取我们网站的时候，会第一个访问我们网站的robots.txt协议文件，查看我们网站的制定的协议，再进行网站的抓取。

我们怎么查看一个网站是否制作了robots.txt文件呢?

其实很简单，只要在域名后加上/robots.txt就可以访问和查看这个网站的robots.txt文件了。如果显示的是404那么说明这个网站还没有设置robots.txt协议。

robots.txt文件的作用有哪些呢?

1、robots是搜索引擎蜘蛛抓取网站时，所抓取的第一个文件

2、robots可以屏蔽网站的垃圾和重复页面

3、robots可以保护网站的隐私防止隐私泄露

4、robots可以让一些不想要上排名的页面，使其不参与排名

5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等

如何制作编写我们网站的robots文件呢?

我们首先要了解robots文件的编写语法，和注意事项。

(User-agent代表选择蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)

* 选择代表所有相关 User-agent: * 所有蜘蛛

Disallow: /(在语句下加上Disallow: /代表禁止抓取)如果要禁止网站根目录里的一个文件比如a/12/l这个文件那么Disallow: /a/12/l即可。

禁止一个文件夹比如c文件夹里所有的文件Disallow: /a 这样即可。

不想让蜘蛛禁止a文件夹里的全部文件，想让蜘蛛抓取a文件夹里的cl66这个文件Disallow: /aAllow: /a/cl66 这样即可。

(Allow:代表应许抓取)我们要禁止网站里的图片，那么如果网站里面有很多图片，有几万个图片难道我们要一个一个选择几万个图片禁止吗?

比如是jpg格式的图片，Disallow: /*.jpg$ $代表结束符 *代表所有。

如果要屏蔽所有js文件的话Disallow: /*.js$ 这样即可。

怎么屏蔽网站的动态路径呢? 如果路径是 www.cdhuace.com/sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路径?前面和后面的所有) 。

Disallow: /a 这个是屏蔽以a字母开始的文件及文件夹。

Disallow: /a/ 这个是只屏蔽a文件夹下的所有文件

robots协议文件编写的注意事项：

1、如果我们网站没有设置robots.txt协议文件，那么搜索引擎蜘蛛会默认抓取我们网站的所有页面文件的。

2、robots.txt协议文件的第一个字母要大写，所有内容要在英文状态下编写。

3、robots.txt协议文件放置在我们网站的根目录中，文件名不能错，不然搜索引擎蜘蛛抓取不到我们的robots.txt协议文件的，字母的大小也是有限制的，robots.txt的文件名必须为小写字母。所有的命令第一个字母需大写，其余的小写。所有的命令之后要有一个英文字符空格。

如果实在嫌robots.txt协议文件编写比较麻烦，也可以找同行业，查看他们的robots.txt协议文件，进行复制略作修改后，传输到网站的更目录即可。

以上就是robots.txt文件的相关介绍以及编写教程，这个文件能够对网站的隐私起到一定的保护作用，对于优化而言是比较必须的一项工作。

本文标题：做SEO优化 robots文件怎么写？
网页URL：https://www.cdcxhl.com/news/2714.html

成都网站建设公司_创新互联，为您提供网站营销、自适应网站、云服务器、面包屑导航、虚拟主机、小程序开发

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联