蜘蛛抓取失败的原因有那些，服务器导致蜘蛛抓取失败的原因

服务器是网站生存的基础，不论是什么原因造成的服务器封禁，都直接影响蜘蛛的抓取，影响网站的用户体验，不利于seo工作的展开。我其将以自己的亲身经历，结合网络上一些朋友对这类问题的分析，总结出造成服务器封禁的三点主要原因：

1、人为操作失误

对搜索引擎蜘蛛认识不够，对一些冒充搜索引擎spider的IP无法正确判断，继而误封搜索引擎IP。这样会导致搜索引擎不能成功抓取网站，无法成功抓取新网页，以及将之前已经成功抓取并收录的页面判定为无效链接，然后搜索引擎将会对这些死链接进行清除，继而网站页面收录减少，最终导致网站在搜索引擎的排名下降。

解决方法：正确认识各搜索引擎蜘蛛，而搜索引擎使用的 IP 地址会随时发生变化，为确保能够正确识别各搜索引擎IP，您可以使用DNS反查方式来确定抓取来源的IP是否属于正规搜索引擎，防止误封。

2、服务器不稳定

现在的服务器多如牛毛，价格也各不相同，质量方面也是相差甚远，站长们往往在选择的时候都是“只认价不认质”， 有的空间商为了节省资源，故意屏蔽掉spider（蜘蛛）的IP，导致spider抓取失败，网站页面就无法被搜索引擎收录。

解决方法：选择有实力的正规空间商，尽可能保证您的网站稳定。服务器和空间的稳定性需要一定的技术实力来保障，一些没有实力的空间商，可能无力提供良好的服务，服务的稳定性无法保证。我们可以很形像的打个比喻：如果将“人”比喻为网站内容，那么服务器就是我们的“家”，它为我们挡风避雨，为我们的生存提供了一个优良的环境，而服务器的好坏将影响我们所能承受的风险。我想，谁都不愿意住在没有安全保障的屋子里，拿自己的生命开玩笑，同理，网站也是如此！如果您现在的服务器不理想，有必要另选时，请暂时让旧服务器能够使用一段时间，并且做301跳转，尽量减少更换服务器带来的一系列损失。

3、保护性的偶然封禁

1、如果网站的访问量过大，超过自身负荷，服务器会根据自身负荷进行保护性的偶然封禁。这种封禁是短暂性的，只要访问量下降到服务器的承受范围之内，那么服务器就会正常工作。

2、还有一种情况是spider造成的，搜索引擎为了达到对目标资源较好的检索效果，蜘蛛需要对您的网站保持一定量的抓取。搜索引擎会根据服务器承受能力，网站质量，网站更新等综合因素来进行调整， 建立一个合理的站点抓取压力。但是会有一些例外，在压力控制不好的情况下，服务器会根据自身负荷进行保护性的偶然封禁。

解决方法：1、如果是访问量造成的压力，那么恭喜你，说明你的网站已经拥有可观的访问人数，我们就应该升级服务器，来满足不段增长的访问量。2、如果是spider造成的，我们可以采用如下方式来减轻spider对服务器产生的压力：A、利用robots文件，屏蔽掉不想被spider抓取的页面。B、采用nofollow标签，屏蔽不想被spider爬行的链接。C、页面中较长的CSS、JS代码移到外部文件。D、删减多余代码。应当注意的是，以上两种情况在返回的代码中尽量不要使用404，建议返回503（其含义是“Service Unavailable”）。这样spider会过段时间再来尝试抓取这个链接，如果那个时间站点空闲，那它就会被成功抓取了。

文章题目：蜘蛛抓取失败的原因有那些，服务器导致蜘蛛抓取失败的原因
文章源于：https://www.cdcxhl.com/news13/162163.html

成都网站建设公司_创新互联，为您提供自适应网站、搜索引擎优化、软件开发、静态网站、品牌网站建设、手机网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联