蜘蛛耗尽服务器资源分析

2015-06-04    分类: 网站建设

当我们成都网站建设的网站刚上线后,都希望网站被尽快收录,于是会去吸引蜘蛛的到来,蜘蛛到来的频率过高有时候会导致iis资源耗尽,网站中时常数出现service unavoidable的提示,这个词的出现可以直接表现为访问量很小。

是蜘蛛的到来引起我们网站资源的缺乏,是蜘蛛耗尽服务器资源的,所以我们的解决办法就针对蜘蛛进行。利用robots.txt中的disallow屏蔽部分没有实际意义的内容。

格式如下:

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

说明:

user-agent:*: *代表允许所有的搜索引擎来抓取数据。
disallow:/search.html:不允许收录/search.html这个文件的数据。
disallow:/index.php?:不允许收录以/index.php?为前缀的链接。
disallow:/tempweb/:不允许收录/tempweb/里所有的文件,但可以收录如:/tempwebtaim.html的链接。

本文标题:蜘蛛耗尽服务器资源分析
浏览地址:https://www.cdcxhl.com/news/19142.html

成都网站建设公司_创新互联,为您提供服务器托管网站维护自适应网站手机网站建设外贸网站建设网站排名

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都做网站