你的位置:首页 > 软件开发 > ASP.net > c#如何采集需要登录的页面

c#如何采集需要登录的页面

发布时间:2016-02-28 12:00:16
首先说明:代码片段是从网络获取,然后自己修改。我想好的东西应该拿来分享。先说下原理:当我们采集页面的时候,如果被采集的网站需要登录才能采集。不管是基于Cookie还是基于Session,我们都会首先发送一个Http请求头,这个Http请求头里面就包含了网站需要的Cookie信息。 ...

首先说明:代码片段是从网络获取,然后自己修改。我想好的东西应该拿来分享。

先说下原理:当我们采集页面的时候,如果被采集的网站需要登录才能采集。不管是基于Cookie还是基于Session,我们都会首先发送一个Http请求头,这个Http请求头里面就包含了网站需要的Cookie信息。当网站接收到发送过来的Http请求头时,会从Http请求头获取相关的Cookie或者Session信息,然后由程序来处理,决定你是否有权限访问当前页面。

好了,原理搞清楚了,就好办了。我们所要做的仅仅是在采集的时候(或者说HttpWebRequest提交数据的时候),将Cookie信息放入Http请求头里面就可以了。

在这里我提供2种方法。

第一种,直接将Cookie信息放入HttpWebRequest的CookieContainer里。看代码:

protected void Page_Load(object sender, EventArgs e)

 

海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理:https://www.xlkjsw.com

原标题:c#如何采集需要登录的页面

关键词:C#

C#
*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录