百度蜘蛛的referrer有什么用？

2013-11-18 分类：网站建设

　　百度蜘蛛的referrer是什么来的?在SEO优化中需要站长去留意吗?今天跟着创新互联SEO，我们一同来探讨这个问题。

百度蜘蛛的referrer

　　百度蜘蛛的referrer，是指当百度蜘蛛访问网站某一个URL的时候，在HTTP头中标识的referrer字段。请注意，这个定义和百度最近声明去除referrer中关键词数据没有任何关系。

　　对于站长的意义：

　　如果你关心百度从哪个页面上发现了当前这个URL的话(可以理解为抓取轨迹)，那么这个字段是唯一的参考依据。如果你发现有一批URL报错(4xx或者5xx)，但是一直找不到入口在哪，也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

　　下面看一个具体例子：

　　比如我们的SEO日志分析系统中可以看到，符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

百度蜘蛛的referrer

　　从发现问题至今过了1个月，查遍整个网站我也没找到入口。今天偶然仔细查了一下日志，想起了百度蜘蛛的referrer，马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新，图片的URL全部更改了，但这套页面并没有跟着更新。

　　通过上面的例子，以后如果大家的站点遇到了类似的问题，不妨尝试通过百度蜘蛛的referrer来试着解决。

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容