最近发现火鸟门户网站只要一运行，就会占用大量带宽资源，甚至可以说是完全跑满。
去年或者早些年的时候，看到是大量外国IP访问导致，所以很早之前就已经屏蔽了国外IP的访问，返回444。
但是，就是在返回444的前提下，Semrush还是坚持不懈，一直爬取。
整整2G的网站日志！！！全部都是Semrush爬取的，而且还是在返回444的前提下，就这样还占用了所有服务器资源。
上图没有任何处理，看右侧的条，看右下角的数据。
全是Semrush的访问！！！
原创文章，作者：蓝洛水深，如若转载，请注明出处：https://blog.lanluo.cn/10121
微信扫一扫 
支付宝扫一扫 
