百度蜘蛛抓取网页的规则习惯你知道多少？

作为一个网站优化人员，首先我们需要了解搜索引擎抓取系统工作原理，今天成都网站优化的小编就简要给大家介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。

1、简单明了的网站结构

(1)树型结构最优的结构即“首页—频道—详情页”;

(2)扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重。

(3)网状保证每个页面都至少有一个文本链接指向，可以使网站尽可能全面的被抓取收录，内链建设同样对排序能够产生积极作用。

(4)导航为每个页面加一个导航方便用户知晓所在路径。

(5)子域与目录的选择相信有大批的站长对此有疑问，当内容较少并且内容相关度较高时建议以目录形式来实现，有利于权重的继承与收敛;当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。

2、简洁美观的url规则

(1)唯一性网站中同一内容页只与唯一一个url相对应，过多形式的url将分散该页面的权重，并且目标url在系统中有被滤重的风险;

(2)简洁性动态参数尽量少，保证url尽量短;

(3)美观性使得用户及机器能够通过url即可判断出页面内容的主旨;

我们推荐如下形式的url：url尽量短且易读使得用户能够快速理解，例如使用拼音作为目录名称;同一内容在系统中只产生唯一的url与之对应，去掉无意义的参数;如果无法保证url的唯一性，尽量使不同形式的url301到目标url;防止用户输错的备用域名301至主域名。

3、其他注意事项

(1)不要忽略倒霉的robots文件，默认情况下部分系统robots是封禁搜索引擎抓取的，当网站建立后及时查看并书写合适的robots文件，网站日常维护过程中也要注意定期检查;

(2)建立网站sitemap文件、死链文件，并及时通过百度站长平台进行提交;

(3)部分电商网站存在地域跳转问题，有货无货建议统一做成一个页面，在页面中标识有无货即可，不要此地区无货即返回一个无效页面，由于spider出口的有限性将造成正常页面无法收录。

本文名称：百度蜘蛛抓取网页的规则习惯你知道多少？
新闻来源：https://www.cdcxhl.com/news/84441.html

成都网站建设公司_创新互联，为您提供企业网站制作、全网营销推广、动态网站、Google、定制网站、网站排名

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联