毒瘤,绝对是毒瘤!Semrush被屏蔽还是坚持爬取导致服务器瘫痪!

最近发现火鸟门户网站只要一运行,就会占用大量带宽资源,甚至可以说是完全跑满。

去年或者早些年的时候,看到是大量外国IP访问导致,所以很早之前就已经屏蔽了国外IP的访问,返回444。

但是,就是在返回444的前提下,Semrush还是坚持不懈,一直爬取。

整整2G的网站日志!!!全部都是Semrush爬取的,而且还是在返回444的前提下,就这样还占用了所有服务器资源。

毒瘤,绝对是毒瘤!Semrush被屏蔽还是坚持爬取导致服务器瘫痪!

上图没有任何处理,看右侧的条,看右下角的数据。

全是Semrush的访问!!!

 

原创文章,作者:蓝洛水深,如若转载,请注明出处:https://blog.lanluo.cn/10121

发表评论

登录后才能评论