SEO优化中Robots的设置至关重要

2016-11-05 分类：网站建设

很多刚接触SEO的朋友还不怎么了解robots是什么，其实robots是一个跟目录文件，虽然操作和用处极为简单，但是它在SEO优化推广中的有着至关重要的意义。

它的用处就是指定哪些搜索引擎蜘蛛可以抓取内容，以及禁止搜索引擎蜘蛛抓取网站的部分或全部内容。看到这里想必已经明白了吧，就是说不小心禁止某个搜索引擎抓取（比如百度），那么在这搜索引擎上就不会有收录更别说排名了，也就搜索不到网站里面的任何内容。

那么怎么使用呢？

Robots.txt 文件放在网站根目录下，并且该文件是可以通过互联网进行访问的。该文件必须能够通过打开并看到里面的内容。

如果要调整改动就需要通过FTP链接服务器进行改动了，云主机可以通过远程桌面直接修改，有些主机供应商的管理后台有支持文件控制的也可以直接操作修改。

里面涉及到的几个点分别是【User-agent】【Disallow】【Allow】【Sitemap】

User-agent：用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

Disallow：用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

网页题目：SEO优化中Robots的设置至关重要
网站网址：https://www.cdcxhl.com/news20/60970.html

成都网站建设公司_创新互联，为您提供网站策划、网站改版、外贸建站、关键词优化、网站设计公司、响应式网站

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容