user_agent参数
-
笔记:采集器user_agent参数设置,DXC插件user_agent设置方法
今天采集某个网站,反馈都是空白,仔细看了之后发现是因为返回的是302,而正常用户才能访问,如下图: 但是考虑到逻辑的相悖,所以用百度蜘蛛测试了一下,发现能正常获取: 因为我用的discuz的DXC采集插件,故而以下方法方式是以DXC采集插件为例。 起初我通过模仿用户测试了一下,发现获得的仍然是302: 连续用了几个user_age…
今天采集某个网站,反馈都是空白,仔细看了之后发现是因为返回的是302,而正常用户才能访问,如下图: 但是考虑到逻辑的相悖,所以用百度蜘蛛测试了一下,发现能正常获取: 因为我用的discuz的DXC采集插件,故而以下方法方式是以DXC采集插件为例。 起初我通过模仿用户测试了一下,发现获得的仍然是302: 连续用了几个user_age…