蜘蛛爬行抓取的地址库和文件存储

2022-04-12    分类: 网站建设

地址库
为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现还没有抓取的页面,以及已经被抓取的页面地址库中的URL有几个来源:

(1)人工录入的种子网站。
(2)蜘蛛抓取页面后,从HTML中解析出新的链接URL与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库。
(3)站长通过搜索引擎网页提交表格提交进来的网址。
蜘蛛按重要性从待访问地址库中提取URL,访问并抓取页面,然后把这个URL,从待访问地址库中删除,放进已访问地址库中。
大部分主流搜索引擎都提供一个表格,让站长提交网址。不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面基本上是毫无用处的,搜索引擎更喜欢自己沿着链接发现新页面。
文件存储
搜索引擎蜘蛛抓取的数据存入原始页面芜湖网站设计数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的,每个URL都有一个独特的文件编号 。

网页名称:蜘蛛爬行抓取的地址库和文件存储
标题网址:https://www.cdcxhl.com/news/145525.html

成都网站建设公司_创新互联,为您提供外贸网站建设用户体验移动网站建设云服务器App设计面包屑导航

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站制作