判断搜索引擎真假蜘蛛访问

2023-06-11    分类： 网站建设

主流搜索引擎蜘蛛抓取网站，都会自带UA特征，比如百度蜘蛛UA（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在网站的访问日志中也会相应记录，但UA是可以伪造的，目前越来越多伪造UA的扫描器或采集器都在伪造搜索引擎UA来迷惑管理员，造成无法判断是否是正规搜索引擎蜘蛛。

我们在不知道蜘蛛IP段的情况下，可以通过运行命令：nslookup 来判断真假蜘蛛。

首先以百度蜘蛛为例，在访问日志中找到带有UA记录的IP，如：220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ，运行后结果中带有： baiduspider-220-181-108-*.crawl.baidu.com 字样，说明是真百度蜘蛛，反之如果没有则为假。

本文名称：判断搜索引擎真假蜘蛛访问
网页链接：https://www.cdcxhl.com/news/264442.html

成都网站建设公司_创新互联，为您提供建站公司、品牌网站建设、用户体验、App开发、域名注册、网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

成都定制网站网页设计

网站建设知识

行业建站