2016-11-08 分类: 网站建设
如何查看搜索引擎SEO蜘蛛精否来过网站?如何正确识别搜索引擎SEO蜘蛛精?如何进行搜索引擎SEO蜘蛛精的抓取诊断?如何通过搜索引擎SEO蜘蛛精IP得知网站状态?是对网站优化推广诊断最好的途径。
一、如何查看搜索引擎SEO蜘蛛精是否过来网站
可以通过查看网站日志进行分析。Windows服务器的IIS与Linux服务器的apache都有记录网站日志的功能。
二、如何辨别搜索引擎SEO蜘蛛精
1、查看UA
首先要UA正确,百度公布过的UA有如下这些。新增渲染UA。
2、反查IP
可以通过dns反差ip的方法判断是否是搜索引擎SEO蜘蛛精,只要不是来自“. baidu . com”或“. baidu . jp”即为假冒的百度SEO蜘蛛精。
三、如何诊断搜索引擎SEO蜘蛛精是否能够正常抓取网站内容
张俊SEO认为很多网站因使用JavaScript代码或框架结构等问题,不能被搜索引擎SEO蜘蛛精所抓取。这里进行诊断也是为了防止SEO蜘蛛精来网站后,因为不能正常抓取而离开,导致网站收录很差,快照不更新等问题。
如果诊断结果有问题,则需要修正问题,提升与搜索引擎SEO蜘蛛精的友好度。
百度官方在线抓取诊断工具如下图所示,选好网站(主页或其他页面)后,选择PC UA 或者移动UA,最后点击“抓取”即可。
四、如何通过百度SEO蜘蛛精IP得知网站状态。张俊SEO认为以下内容仅供参考。
1、抓取你网站的网页蜘蛛
60.172.229.61
61.129.45.72
61.135.162.*
2、百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
3、百度统计的蜘蛛
61.135.186.*
4、站长工具的模仿的百度蜘蛛
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
5、搜外站长工具的模仿的百度蜘蛛
124.248.34.52
6、114站长工具箱模仿的百度蜘蛛
119.147.114.213
121.10.141.*
7、百度图片蜘蛛
123.15.**.**
8、抓取网站内页收录的权重较低的非原创,需要通过一段时间考察
123.125.71.*
9、站长工具检测造成的无用
125.90.88.*
10、百度考察期蜘蛛或降权蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
11、伪装百度蜘蛛
180.149.130.*
12、新站及站点有不正常现象
183.91.40.144
203.208.60.*
13、不间断巡逻各站就是路过
210.72.225.*
14、沙盒或者有被K站
123.125.68.*
218.30.118.102
220.181.68.*
15、此ip爬过的文章或首页,绝对24小时内放出来和隔夜快照
220.181.108.*
16、百度蜘蛛IP来过,准备抓取
123.125.66.*
220.181.7.*
17、度过新站考察期
121.14.89.*
18、百度抓取首页的专用IP,网站首页快照更新快,隔夜更新
220.181.108.95
19、百度的权重IP段,抓取的文章第二天放出来,权重较高
220.181.108.92
20、综合性权重IP,抓取文章和首页,权重较高
220.181.108.91
220.181.108.75
21、抓取内页收录的,但权重较低
123.125.71.95
123.125.71.97
123.181.108.77
123.125.71.106
22、抓取网站首页的,也属于权重段,权重较高。
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.83
220.181.108.86
以上就是某个网站带来的百度搜索引擎SEO蜘蛛精的分析方法。
SEO优化中不可忽视的蜘蛛精陷阱。什么是SEO优化蜘蛛精陷阱?搜索引擎SEO蜘蛛精陷阱有着怎样的危害呢?我们又该如何去避免这些蜘蛛陷阱呢?今日张俊SEO就和大家聊聊关于如何避免SEO优化蜘蛛精陷阱的那些事儿。
什么是SEO蜘蛛精陷阱?
网站设计做的对于搜索引擎来说很不友好,就导致了不利于蜘蛛精的爬行和抓取,其实这样就构成了一个蜘蛛陷阱。官方说法,“蜘蛛精陷阱”是阻止蜘蛛精程序爬行网站的障碍物,通常是那些显示网页的技术方法,目前很多浏览器在设计的时候考虑过这些因素,所以可能网页界面看起来非常正常,但这些蜘蛛精陷阱会对蜘蛛精程序造成障碍,如果消除这些蜘蛛精陷阱,可以使蜘蛛精程序收录更多的网页。SEO工作中,网页被收录是基础工作,但对于搜索引擎来讲,极少情况会100%收录你网站的所有网页,搜索引擎的爬虫程序设计的再精巧,也难以逾越所谓的蜘蛛精陷阱。
搜索引擎SEO蜘蛛精陷阱的主要类别
1、登录要求
2、动态URL
3、强制用Cookies
4、框架结构
5、各种跳转
6、Flash
7、Javascript链接
8、Session ID
如何避免搜索引擎SEO蜘蛛精陷阱?
1、采用session id的页面,有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户,访问站点的时候每个用户访问都会增加一次session id而加入到URL中,同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id,这样就会产生了同一个页面但URL不同的情况,这种的一来会产生复制内容页面,造成了高度重复的内容页,同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩,而进行弹窗会话等,比如说您好来自XXX地的朋友等。
2、常识性的SEO蜘蛛精陷阱,采用强制注册或登录才能访问的页面,这种的对于SEO蜘蛛精来说就相当为难了,因为SEO蜘蛛精无法提交注册,更无法输入用户名和密码登录查看内容,对于SEO蜘蛛精来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。
3、喜欢采用flash的站点,之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说,因为flash本身可以做很多种效果,尤其是放在导航上视觉效果强,所以不少企业站喜欢弄个flash来展示自己公司的实力,文化,产品等,甚至一些企业站点的网站首页就是一个flash,要么是在多长时间后通过flash跳转到另外一个页面,要么就是通过flash上的链接让用户自己点击后进入一个新的页面,但是对于SEO蜘蛛精来说一来是很难读取flash中的内容,所以SEO蜘蛛精也很难点击flash上的链接。
4、动态URL,在url中加入过多的符号或者网址参数等,这种蜘蛛陷阱我在url优化中曾经有提到,虽然说随着搜索引擎的的技术发展,动态url对于蜘蛛的抓取已经越来越不是问题了,但是从搜索引擎友好度上来讲,静态哪怕是伪静态url相对来说都比动态url要好,可以看下很多SEO同行对于url中的处理方式。
5、框架,在早期框架到处被泛滥使用,而现在框架网页很多网站已经很少使用了,一是因为现在随着各大CMS系统的开发问世,网站维护相对也越来越简单了,早期网站使用框架是因为对网站页面的维护有一定的便利性了,现在已经大可不必了,而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。
6、JS,虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的,但是我们最好不要寄望于搜索引擎自己克服困难,虽然说通过js可以做一些效果不错的导航,但是css同样可以做到;为了提高网站对搜索引擎的友好度建议使网页能够更好的SEO蜘蛛精爬行,就尽量不要采用js,当然在seo中,js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱。
网站SEO优化中几点吸引蜘蛛精的方法!
一:采用百度官方方法
在百度算法里,在用户搜索相同标题或关键词的时候,原创内容会优先展示。因此提高文章的原创度,自然是最好的,但是往往我们服务客户的网站专业性质很强,而我们的知识面有限,也只能通过伪原创实现,但是提升伪原创的质量也是可取的。
第二:发外链吸引蜘蛛精的方法
很多站长发布外链都是添加网站的首页网址就OK了,如果你的网站权重低,更新不频繁的话,可能蜘蛛精通过链接到了你的网站就不再深入去爬行了。方法:可以去各大论坛和博客发布文章,然后带上当天发布的文章地址,这种效果还是比较不错的,小伙伴们可以试试。
第三:友情链接交换的选择
友链的作用,每个SEO都知道,它对于网站的排名有一定的帮助,同时又是引导蜘蛛在网站之间来回爬行的一种方式,对于网站的排名和收录都是非常有利。所以我们要经常和一些更新比较频繁的网站交换链接。
第四:站内页面之间链接
不论是文章之间还是栏目和网站首页之间,全部要有一个或者几个链接的路径互通,这个路径是蜘蛛精在网站上面爬行的一种链接,同时也可以让用户点击的链接,对于网站的收录,排名和权重的提高都是比较不错的。
分享文章:张俊SEO蜘蛛精细分析爬取网站详情
分享地址:https://www.cdcxhl.com/news/62506.html
成都网站建设公司_创新互联,为您提供品牌网站建设、定制网站、做网站、网页设计公司、品牌网站制作、响应式网站
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联
猜你还喜欢下面的内容