robots.txt文件用法举例

2022-06-04    分类: 网站建设

1、禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")

  第1种写法

  User-agent: *

  Allow: /

  第2种写法

  User-agent: *

  Allow:

  第3种写法

  User-agent: *

  Disallow:

  3、仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4、仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Allow: /

  5、禁止spider访问特定目录

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6、允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  7、使用"*"限制访问url

  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8、使用"$"限制访问url

  仅允许访问以".htm"为后缀的URL。

  User-agent: *

  Allow: / .htm$

  9、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10、禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /* .jpeg$

  Disallow: /* .gif$

  Disallow: /* .png$

  Disallow: /*.bmp$

  11、仅允许Baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片,不允许抓取其他格式图片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: /.jpg$

  Disallow: / .jpeg$

  Disallow: / .png$

  Disallow: /.bmp$

  12、仅禁止Baiduspider抓取,jpg格式图片。

  User-agent: /Baiduspider

  Disallow: /.jpg$

  附件:百度各个产品使用不同的user-agent

  无线搜索 Baiduspider-mobile

  图片搜索 Baiduspider-image

  视频搜索 Baiduspider-video

  新闻搜索 Baiduspider-news

  百度搜藏 Baiduspider-favo

  百度联盟 Baiduspider-cpro

  商务搜索 Baiduspider-ads

  网页以及其他搜索 Baiduspider

网站栏目:robots.txt文件用法举例
文章链接:https://www.cdcxhl.com/news/163226.html

成都网站建设公司_创新互联,为您提供网站设计公司手机网站建设品牌网站设计建站公司软件开发定制网站

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

搜索引擎优化