Semrush爬虫

最近发现火鸟门户网站只要一运行，就会占用大量带宽资源，甚至可以说是完全跑满。 去年或者早些年的时候，看到是大量外国IP访问导致，所以很早之前就已经屏蔽了国外IP的访问，返回444。 但是，就是在返回444的前提下，Semrush还是坚持不懈，一直爬取。 整整2G的网站日志！！！全部都是Semrush爬取的，而且还是在返回444的前提下，就这样还占用了所有服务…