采集器蜘蛛设置

今天采集某个网站，反馈都是空白，仔细看了之后发现是因为返回的是302，而正常用户才能访问，如下图：   但是考虑到逻辑的相悖，所以用百度蜘蛛测试了一下，发现能正常获取： 因为我用的discuz的DXC采集插件，故而以下方法方式是以DXC采集插件为例。 起初我通过模仿用户测试了一下，发现获得的仍然是302：   连续用了几个user_age…