判断搜索引擎真假蜘蛛访问

2023-06-11    分类: 网站建设

主流搜索引擎蜘蛛抓取网站,都会自带UA特征,比如百度蜘蛛UA(Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在网站的访问日志中也会相应记录,但UA是可以伪造的,目前越来越多伪造UA的扫描器或采集器都在伪造搜索引擎UA来迷惑管理员,造成无法判断是否是正规搜索引擎蜘蛛。

我们在不知道蜘蛛IP段的情况下,可以通过运行命令:nslookup 来判断真假蜘蛛。

首先以百度蜘蛛为例,在访问日志中找到带有UA记录的IP,如:220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ,运行后结果中带有: baiduspider-220-181-108-*.crawl.baidu.com 字样,说明是真百度蜘蛛,反之如果没有则为假。

网站标题:判断搜索引擎真假蜘蛛访问
网站地址:https://www.cdcxhl.com/news42/264442.html

成都网站建设公司_创新互联,为您提供商城网站移动网站建设全网营销推广网站营销外贸建站手机网站建设

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

网站托管运营