user_agent参数

  • 笔记:采集器user_agent参数设置,DXC插件user_agent设置方法

    今天采集某个网站,反馈都是空白,仔细看了之后发现是因为返回的是302,而正常用户才能访问,如下图:   但是考虑到逻辑的相悖,所以用百度蜘蛛测试了一下,发现能正常获取: 因为我用的discuz的DXC采集插件,故而以下方法方式是以DXC采集插件为例。 起初我通过模仿用户测试了一下,发现获得的仍然是302:   连续用了几个user_age…

    2015年10月30日 网站
    03.1K0
联系QQ