星空网 > 软件开发 > Java

nodejs爬虫数据抓取

一  返回的信息提示  Something went wrong 

request模块请求出现未知错误

nodejs爬虫数据抓取

其中,所用代码如下(无User-Agent部分)

nodejs爬虫数据抓取

问题多次派查无果,包括:

  1:postman请求正常

nodejs爬虫数据抓取

  2. curl 请求正常

nodejs爬虫数据抓取

 

  解决办法:

为请求添加user-agent头,如取消上注释部分。(我发现,只要有了user-agent这个key,无论其value是否为空,都可以正常返回了)

所以对于模拟请求,有时候相应的http头部信息还是必须的。

 




原标题:nodejs爬虫数据抓取

关键词:JS

JS
*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流