浅谈搜索引擎抓取原理

2022-12-29    分类: 网站建设

搜索引擎在爬行网站时,一般分为两种策略:深度抓取和广度抓取。这两种抓取应该听过的人特别多,那是否还有第三种呢?其实吸引蜘蛛也算一种抓取策略,因为它改变了蜘蛛的爬行规律。今天就来主要解释一下三种抓取的方式。

浅谈搜索引擎抓取原理

深度抓取,比如容易理解,当搜索引擎蜘蛛到了一个网站时。它会根据网站中第一个链接,之后顺着第一个链接一路爬行,直至抓取完成后。这时,蜘蛛会返回搜索引擎抓取的第一个链接,接着该链接,抓取网站第二个链接,之后顺着第二个链接一路爬行,直至抓取完成。以此反复抓取,完成深度抓取。

而广度抓取,则是搜索引擎在发现一个页面时,首先,将该页面第一层所有链接均索引到搜索引擎数据库中。然后,将第二部分链接索引,之后为第三个页面,以此反复。

当然,无论深度或广度抓取,搜索引擎都不会以此种方式将整个网站所有的页面链接全部抓取,除非网站链接极少。那一些链接藏的比较深,或者页面层级较深,这些页面如何让搜索引擎抓取呢?那就要说说第三种抓取策略,吸引蜘蛛。

在通过外链或者友情链接等规划时,在其它网站中存在自身网站链接,吸引蜘蛛通过外链或友情链接中的地址爬行网站中,为一些隐藏较深的页面提供索引。

当然,大概的搜索引擎抓取策略分为以上三种,还有一些其余情况,比如,页面点击率,或者页面更新度等情况,同样会影响到抓取情况。搜索引擎抓取策略也不会一成不变,我们要做的,就是做好网站自己的优化,尽量使用树状型物理结构,保证网站的抓取索引。

文章来源:耐特康赛(http://www.netconcepts.cn/),版权归原作者所有,特此声明。

网站题目:浅谈搜索引擎抓取原理
网页URL:https://www.cdcxhl.com/news/226453.html

成都网站建设公司_创新互联,为您提供App设计营销型网站建设品牌网站设计用户体验网站设计公司软件开发

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都网站建设