浅谈搜索引擎抓取原理

2022-12-29 分类：网站建设

搜索引擎在爬行网站时，一般分为两种策略：深度抓取和广度抓取。这两种抓取应该听过的人特别多，那是否还有第三种呢?其实吸引蜘蛛也算一种抓取策略，因为它改变了蜘蛛的爬行规律。今天就来主要解释一下三种抓取的方式。

浅谈搜索引擎抓取原理

深度抓取，比如容易理解，当搜索引擎蜘蛛到了一个网站时。它会根据网站中第一个链接，之后顺着第一个链接一路爬行，直至抓取完成后。这时，蜘蛛会返回搜索引擎抓取的第一个链接，接着该链接，抓取网站第二个链接，之后顺着第二个链接一路爬行，直至抓取完成。以此反复抓取，完成深度抓取。

而广度抓取，则是搜索引擎在发现一个页面时，首先，将该页面第一层所有链接均索引到搜索引擎数据库中。然后，将第二部分链接索引，之后为第三个页面，以此反复。

当然，无论深度或广度抓取，搜索引擎都不会以此种方式将整个网站所有的页面链接全部抓取，除非网站链接极少。那一些链接藏的比较深，或者页面层级较深，这些页面如何让搜索引擎抓取呢?那就要说说第三种抓取策略，吸引蜘蛛。

在通过外链或者友情链接等规划时，在其它网站中存在自身网站链接，吸引蜘蛛通过外链或友情链接中的地址爬行网站中，为一些隐藏较深的页面提供索引。

当然，大概的搜索引擎抓取策略分为以上三种，还有一些其余情况，比如，页面点击率，或者页面更新度等情况，同样会影响到抓取情况。搜索引擎抓取策略也不会一成不变，我们要做的，就是做好网站自己的优化，尽量使用树状型物理结构，保证网站的抓取索引。

文章来源：耐特康赛(http://www.netconcepts.cn/)，版权归原作者所有，特此声明。

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容