毒瘤,绝对是毒瘤!Semrush被屏蔽还是坚持爬取导致服务器瘫痪!

最近发现火鸟门户网站只要一运行,就会占用大量带宽资源,甚至可以说是完全跑满。

去年或者早些年的时候,看到是大量外国IP访问导致,所以很早之前就已经屏蔽了国外IP的访问,返回444。

但是,就是在返回444的前提下,Semrush还是坚持不懈,一直爬取。

整整2G的网站日志!!!全部都是Semrush爬取的,而且还是在返回444的前提下,就这样还占用了所有服务器资源。

毒瘤,绝对是毒瘤!Semrush被屏蔽还是坚持爬取导致服务器瘫痪!

上图没有任何处理,看右侧的条,看右下角的数据。

全是Semrush的访问!!!

 

原创文章,作者:蓝洛水深,如若转载,请注明出处:https://blog.lanluo.cn/10121

(0)
上一篇 2021年4月10日 上午12:02
下一篇 2021年4月14日 上午11:27

相关推荐

发表回复

登录后才能评论