记一次http下载0KB问题的解决

最近在写C#,.net的一个下载程序,用到了网络下载(其他语言也别一下就走开,问题和解题思路是相同的,不妨花2min看一下)。发现一个问题:
某个链接,明明是下载地址,比如有人给我反馈这个链接 http://wowui.178.com/down/337/13178/Outfitter-5.22_.1_.zip, 无法下载。而在页面上的按钮,点击就可以下载?!

对于.net的下载方法,主要有2个,一个是WebClient,一个是HttpWebRequest。

而HttpWebRequest其实各个其他语言平台都存在的标准的http请求方式,可以给他的对象进行设置Accept,Cookies,Refer等等。

首先想到的是,自己手里的下载方法不够强大,于是github和baidu都找了很多框架和helper类,未果;

经过1天的挣扎,发现一个现象,复制该链接到浏览器的网址搜索栏中回车,也是跳转了网页,并没有直接弹出下载;而点击页面中下载按钮就是直接下载!并且通过查看元素代码,并没有做什么额外的js解析,变换下载什么的。

接下来,关键的,通过浏览器的开发者工具,network页面。

当我复制到搜索栏的时候,出现如下2张图的标头:

axios 下载文件 有时为空_axios 下载文件 有时为空


axios 下载文件 有时为空_.net_02

而且当我们点击下载按钮的时候,出现如下标头(其实也跟上面一样有2张,还有一张跟上面一样是错误的,这里就不贴上来了):

axios 下载文件 有时为空_http下载问题_03


可以看到,错误的请求,跟正确的下载请求标头的差异是只有一个:

Refer没有配置!

于是修改代码尝试(逐个逐个额外添加):

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
        request.Accept = "*/*";//添加Accept
        request.UserAgent = @"User - Agent: Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 64.0.3282.140 Safari / 537.36 Edge / 17.17134"; //添加UA
        request.CookieContainer = new CookieContainer(); //添加cookies
        if(refer != null) request.Referer = refer; //添加refer
        HttpWebResponse response = request.GetResponse() as HttpWebResponse;
        Stream responseStream = response.GetResponseStream();
        ...

所以,总结来说,当我们使用http下载的时候,需要注意几个点:

  1. 我们经常需要给请求,添加UA或者Cookies,否则容易被当做爬虫而拒绝;
  2. Accept在某种特定可能有问题;
  3. 像这种特殊的下载失败0KB问题或者一些crash Exception,我们需要进一步分析跟浏览器的请求差异,分析差别在哪里。找出原因。