蜘蛛耗尽服务器资源分析

2015-06-04 分类：网站建设

当我们成都网站建设的网站刚上线后，都希望网站被尽快收录，于是会去吸引蜘蛛的到来，蜘蛛到来的频率过高有时候会导致iis资源耗尽，网站中时常数出现service unavoidable的提示，这个词的出现可以直接表现为访问量很小。

是蜘蛛的到来引起我们网站资源的缺乏，是蜘蛛耗尽服务器资源的，所以我们的解决办法就针对蜘蛛进行。利用robots.txt中的disallow屏蔽部分没有实际意义的内容。

格式如下：

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

说明：

user-agent:*： *代表允许所有的搜索引擎来抓取数据。
disallow:/search.html：不允许收录/search.html这个文件的数据。
disallow:/index.php?：不允许收录以/index.php?为前缀的链接。
disallow:/tempweb/：不允许收录/tempweb/里所有的文件，但可以收录如：/tempwebtaim.html的链接。

当前标题：蜘蛛耗尽服务器资源分析
文章分享：https://www.cdcxhl.com/news42/19142.html

成都网站建设公司_创新互联，为您提供移动网站建设、网站维护、手机网站建设、小程序开发、网站建设、静态网站

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容