关于百度站长平台网页抓取功能解析

2013-04-27    分类: 网站建设

关于百度站长平台网页抓取功能解析:

网页抓取功能主要包括索引量、Robots、链接提交、死链提交、抓取频次、抓取诊断、抓取异常等内容。我们通过索引量可以看到站点在一定时间内被索引的量和变化趋势,能及时掌握网站的实际情况,并且可以指定规则,检测某个频道或者专题被收录和索引的情况。

百度站长网页抓取功能

链接提交包括主动推送、自动推送、 Sitemap、手动提交四种提交方式。其中主动推送是最快捷的方式,能够确保当天新链接被收录进来。自动推送是最便捷的方式,把JS代码部署到每一页面,页面被浏览时自动推送到百度,一般都与主动推送结合使用。Sitemap提交慢于主动推送,需要定期更新。手动提交比较机械化,但是可以把链接一次性提交给百度。

死链提交主要是处理网站上已存在的死链,当网站死链数据累积过多,并且被展示到搜索结果页中时,对网站本身的访问体验和用户转化都产生了负面影响。另外,百度检查死链的流程也会为网站带来额外负担,影响网站其他正常页面的抓取和索引。死链提交方式包括文件提交和规则提交。文件提交是将已制作好的死链文件上传至网站根目录,然后将死链文件地址提交。规则提交是指将相同链接前缀下的死链写成链接规则,且与其匹配的链接全部都是死链,然后将这个死链规则提交。目前支持两种死链规则:目录规则,以“”结尾的前缀;CGI规则,以“?”结尾的前缀。

Robots功能用于检测与更新网站的 robots. txt文件,如果网站长时间不被搜索引擎抓取,可能是 robots.txt文件出了问题,需要对其进行检测更新。需要注意的是, robots.xt文件大不超过48k,目录不超过250个字符。

抓取频次功能可以监测蜘蛛抓取网站的频次和每次抓取所用时间。

抓取诊断功能可以监测蜘蛛抓取网站是否正常,是否能够正常抓取网站内容。每个站点每周最多能够抓取整段200次,通过抓取整段可以监测网站内容是否符合预期,是否被加了黑链,是否隐藏文本,连通是否正常等。

抓取异常监测可以监测网站异常和链接异常两个方面。网站异常会出现DNS异常、连接与抓取超时、链接错误的情况;链接异常会出现访问被拒、找不到页面、服务器错误、其它错误等情况。

网站题目:关于百度站长平台网页抓取功能解析
文章转载:https://www.cdcxhl.com/news5/555.html

成都网站建设公司_创新互联,为您提供外贸建站网页设计公司域名注册商城网站动态网站全网营销推广

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都网页设计公司