用户代理UA中BLEXBot是什么蜘蛛，需要屏蔽这个爬虫吗

2024-04-07 分类：网站建设

BLEXBot这个蜘蛛也是最近爬的比较厉害的一个，属于一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，所以一旦我们发现有他的抓取的踪迹，就会发现他真的是大量的抓取你的链接。

这个蜘蛛理论上除了耗费我们的服务器资源之外，也没什么坏处，但对在国内建站只面向国内用户的站长来说，屏蔽是比较好的选择。

实测这个BLEXBot蜘蛛比较自觉，使用robot协议禁止以后它就不再爬了，值得表扬。
User-agent: BLEXBot
Disallow:/

还是为了防止哪天不讲武德搞偷袭，彻底在服务器规则禁止更好：
if($http_user_agent ~*"BLEXBot")
{return403;}

毕竟robot只是个协议，属于约定，尊不遵守还是看这些公司自己的设定。

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容