怎样写好网站的robots.txt文件

2021-05-29    分类: 网站建设

做网站当然希望搜索引擎抓取我们网站的内容,但我们做SEO优化SEO优化时候并不希望所有的信息都公布于众,比如后台隐私,或者其它一些杂七杂八的信息。那么这时候我们就可以能过robots.txt文件来控制网站在搜索引擎中的展示,robots.txt是一个纯文本文件,通过在这个文件中声明该网站中不想被搜索引擎robots访问的部分。


带“*”的一种写法:

User-agent: *

Disallow: /ad*

Allow: /ad/img/

Disallow: /*.php$

Disallow: /*.jsp$

Disallow: /*.css$


这种写法允许所有蜘蛛访问,但会限制以“ad”开头的目录及文件,并限制抓取.php文件、.jsp文件和.css文件。其中Disallow: /ad*会连同附件目录(即你上传的图片、软件等)一起限制抓取,如果想让搜索引擎抓取img目录中的内容,需要将写上第三行“Allow: /ad/img/“。


较合理的一种写法:

User-agent: *

Disallow: /admin

Disallow: /content/plugins

Disallow: /content/themes

Disallow: /includes

Disallow: /?s

Sitemap:http://www.cdcxhl.com/


采用这种写法允许所有搜索引擎抓取,并逐一列举需要限制的目录,同时限制抓取网站的搜索结果,最后一行代码是你网站的Sitemap路径,大多数搜索引擎都会识别它。

如果对自己写的robots.txt不放心,建议你使用Google管理员工具中的“工具->测试robots.txt”来对你的robots.txt进行测试,确保你的修改正确。

当前名称:怎样写好网站的robots.txt文件
网页URL:https://www.cdcxhl.com/news/115464.html

成都网站建设公司_创新互联,为您提供软件开发用户体验小程序开发网站策划移动网站建设定制网站

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

绵阳服务器托管