做SEO优化 robots文件怎么写?

2013-08-11    分类: 网站建设

SEO优化人员在建站的时候会跟robots文件打交道,这个文件是什么?能够对网站起到什么作用?今天跟着创新互联SEO来一起了解一下具体内容,帮助你更好的开展搜索优化工作。


做SEO优化 robots文件怎么写


通俗的来讲robots.txt文件是一个纯文本文件,是我们网站和搜索引擎蜘蛛的协议文件,就和合同一样,在搜索引擎抓取我们网站的时候,会第一个访问我们网站的robots.txt协议文件,查看我们网站的制定的协议,再进行网站的抓取。


我们怎么查看一个网站是否制作了robots.txt文件呢?


其实很简单,只要在域名后加上/robots.txt就可以访问和查看这个网站的robots.txt文件了。如果显示的是404那么说明这个网站还没有设置robots.txt协议。


robots.txt文件的作用有哪些呢?


1、robots是搜索引擎蜘蛛抓取网站时,所抓取的第一个文件


2、robots可以屏蔽网站的垃圾和重复页面


3、robots可以保护网站的隐私防止隐私泄露


4、robots可以让一些不想要上排名的页面,使其不参与排名


5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等


如何制作编写我们网站的robots文件呢?


我们首先要了解robots文件的编写语法,和注意事项。


(User-agent代表选择蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)


* 选择代表所有相关 User-agent: * 所有蜘蛛


Disallow: /(在语句下加上Disallow: /代表禁止抓取)如果要禁止网站根目录里的一个文件比如a/12/l这个文件那么Disallow: /a/12/l即可。


禁止一个文件夹比如c文件夹里所有的文件Disallow: /a 这样即可。


不想让蜘蛛禁止a文件夹里的全部文件,想让蜘蛛抓取a文件夹里的cl66这个文件Disallow: /aAllow: /a/cl66 这样即可。


(Allow:代表应许抓取)我们要禁止网站里的图片,那么如果网站里面有很多图片,有几万个图片难道我们要一个一个选择几万个图片禁止吗?


比如是jpg格式的图片,Disallow: /*.jpg$ $代表结束符 *代表所有。



如果要屏蔽所有js文件的话Disallow: /*.js$ 这样即可。


怎么屏蔽网站的动态路径呢? 如果路径是 www.cdhuace.com/sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路径?前面和后面的所有) 。

Disallow: /a 这个是屏蔽以a字母开始的文件及文件夹。

Disallow: /a/ 这个是只屏蔽a文件夹下的所有文件


robots协议文件编写的注意事项:


1、如果我们网站没有设置robots.txt协议文件,那么搜索引擎蜘蛛会默认抓取我们网站的所有页面文件的。


2、robots.txt协议文件的第一个字母要大写,所有内容要在英文状态下编写。


3、robots.txt协议文件放置在我们网站的根目录中,文件名不能错,不然搜索引擎蜘蛛抓取不到我们的robots.txt协议文件的,字母的大小也是有限制的,robots.txt的文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。所有的命令之后要有一个英文字符空格。


如果实在嫌robots.txt协议文件编写比较麻烦,也可以找同行业,查看他们的robots.txt协议文件,进行复制略作修改后,传输到网站的更目录即可。


以上就是robots.txt文件的相关介绍以及编写教程,这个文件能够对网站的隐私起到一定的保护作用,对于优化而言是比较必须的一项工作。


新闻标题:做SEO优化 robots文件怎么写?
网站链接:https://www.cdcxhl.com/news14/2714.html

成都网站建设公司_创新互联,为您提供定制网站小程序开发软件开发移动网站建设全网营销推广品牌网站制作

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都定制网站网页设计