前言

1、wget命令是Linux操作系统中用于从Web下载文件的命令行工具,支持 HTTP、HTTPS及FTP协议下载文件,而且wget还提供了很多选项,例如下载多个文件、后台下载,使用代理等等,使用非常方便。接下来就介绍一下wget的使用方法。

2、wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。它有以下功能和特点:

(1)支持断点下传功能;这一点,也是网络蚂蚁和FlashGet当年最大的卖点,现在,Wget也可以使用此功能,那些网络不是太好的用户可以放心了;

(2)同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件;

(3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能;

(4)设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标;

(5)程序小,完全免费;程序小可以考虑不计,因为现在的硬盘实在太大了;完全免费就不得不考虑了,即使网络上有很多所谓的免费软件,但是,这些软件的广告却不是我们喜欢的;

3、wget命令的语法格式:

wget [options] [url]

4、wget 命令格式:

wget [参数列表] [目标软件、网页的网址]

-V,–version 显示软件版本号然后退出;
-h,–help 显示软件帮助信息;
-e,–execute=COMMAND 执行一个 “.wgetrc”命令

-o,–output-file=FILE 将软件输出信息保存到文件;
-a,–append-output=FILE 将软件输出信息追加到文件;
-d,–debug 显示输出信息;
-q,–quiet 不显示输出信息;
-i,–input-file=FILE 从文件中取得URL;

-t,–tries=NUMBER 是否下载次数(0表示无穷次)
-O –output-document=FILE 下载文件保存为别的文件名
-nc, –no-clobber 不要覆盖已经存在的文件
-N,–timestamping 只下载比本地新的文件
-T,–timeout=SECONDS 设置超时时间
-Y,–proxy=on/off 关闭代理

-nd,–no-directories 不建立目录
-x,–force-directories 强制建立目录

–http-user=USER 设置HTTP用户
–http-passwd=PASS 设置HTTP密码
–proxy-user=USER 设置代理用户
–proxy-passwd=PASS 设置代理密码

-r,–recursive 下载整个网站、目录(小心使用)
-l,–level=NUMBER 下载层次

-A,–accept=LIST 可以接受的文件类型
-R,–reject=LIST 拒绝接受的文件类型
-D,–domains=LIST 可以接受的域名
–exclude-domains=LIST 拒绝的域名
-L,–relative 下载关联链接
–follow-ftp 只下载FTP链接
-H,–span-hosts 可以下载外面的主机
-I,–include-directories=LIST 允许的目录
-X,–exclude-directories=LIST 拒绝的目录

wget命令的使用

1、不带参数命令运行

使用wget下载redis的tar.gz文件:

wget https://download.redis.io/releases/redis-6.0.8.tar.gz

该命令会默认下载文件到当前工作目录中;在文件下载过程中,会显示进度条、文件大小、下载速度等。

2、使用 -O 选项以其他名称保存下载的文件

要以其他名称保存下载的文件,使用-O选项,后跟指定名称即可:

wget -O redis.tar.gz https://download.redis.io/releases/redis-6.0.8.tar.gz

将即将下载的文件 redis-6.0.8.tar.gz 重命名为 redis.tar.gz 。

3、使用 -P 选项将文件下载到指定目录

默认情况下,wget将下载的文件保存在当前工作目录中;(不加参数的命令运行时,文件将会存储到当前终端所在的路径)

使用-P选项可以将文件保存到指定目录下,例如,下面将将文件下载到/usr/software目录下:

wget -P /usr/software https://download.redis.io/releases/redis-6.0.8.tar.gz

4、使用 -c 选项断点续传

当我们下载一个大文件时,如果中途网络断开导致没有下载完成,我们就可以使用命令的-c选项恢复下载,让下载从断点续传,无需从头下载。

wget -c https://download.redis.io/releases/redis-6.0.8.tar.gz

5、使用 -b 选项在后台下载

wget -b https://download.redis.io/releases/redis-6.0.8.tar.gz

默认情况下,下载过程日志重定向到当前目录中的wget-log文件中,要查看下载状态,可以使用tail -f wget-log查看。

6、使用 -i 选项下载多个文件

如果想要一次下载多个文件,首先需要创建一个文本文件,并将所有的url添加到该文件中,每个url都必须是单独的一行。

vim download_list.txt

然后使用-i选项,后跟该文本文件:

wget -i download_list.txt

7、使用 --limit-rate 选项限制下载速度

默认情况下,wget命令会以全速下载,但是有时下载一个非常大的资源的话,可能会占用大量的可用带宽,影响其他使用网络的任务,这时就要限制下载速度,可以使用--limit-rate选项。

例如,以下命令将下载速度限制为1m/s:

wget --limit-rate=1m https://download.redis.io/releases/redis-6.0.8.tar.gz

8、使用 -U 选项设定模拟下载(伪装代理名称下载)

如果远程服务器阻止wget下载资源,我们可以通过-U选项模拟浏览器进行下载,例如下面模拟谷歌浏览器下载。

wget -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.43 Safari/537.36' https://download.redis.io/releases/redis-6.0.8.tar.gz

或者

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下载链接

9、使用 --tries 选项增加重试次数

如果网络有问题或下载一个大文件有可能会下载失败,wget默认重试20次,我们可以使用-tries选项来增加重试次数。

wget --tries=40 https://download.redis.io/releases/redis-6.0.8.tar.gz

10、通过FTP下载如果要从受密码保护的FTP服务器下载文件,需要指定用户名和密码

格式如下:

wget --ftp-user=<username> --ftp-password=<password> url

11、-o 选项将下载信息存入日志文件

下载信息不直接显示在终端,而是保存在一个指定的日志文件里

wget -o download.log url

12、-Q 选项限制总下载文件大小

wget -Q5m -i filelist.txt

上面命令的意思是:下载的文件超过5M时就退出下载。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

13、--spider参数测试下载链接

测试下载链接是否有效。可以增加–spider参数进行检查。

wget --spider URL

下载链接正确有效时,显示如下:

Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

下载链接错误无效时,显示如下:

wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!

14、使用wget –mirror镜像网站

下面的例子是下载整个网站到本地。

wget –mirror -p –convert-links -P ./LOCAL URL

–miror:开户镜像下载

-p:下载所有为了html页面显示正常的文件

–convert-links:下载后,转换成本地的链接

-P ./LOCAL:保存所有文件和目录到本地指定目录

15、使用wget –reject过滤指定格式下载 

你想下载一个网站,但你不希望下载图片,你可以使用以下命令。

wget –reject=gif url

16、使用wget -r -A下载指定格式文件

 可以在以下情况使用该功能:

下载一个网站的所有图片

下载一个网站的所有视频

下载一个网站的所有PDF文件

wget -r -A .pdf url

 


去期待陌生,去拥抱惊喜。