前言
1、wget命令是Linux操作系统中用于从Web下载文件的命令行工具,支持 HTTP、HTTPS及FTP协议下载文件,而且wget还提供了很多选项,例如下载多个文件、后台下载,使用代理等等,使用非常方便。接下来就介绍一下wget的使用方法。
2、wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。它有以下功能和特点:
(1)支持断点下传功能;这一点,也是网络蚂蚁和FlashGet当年最大的卖点,现在,Wget也可以使用此功能,那些网络不是太好的用户可以放心了;
(2)同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件;
(3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能;
(4)设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标;
(5)程序小,完全免费;程序小可以考虑不计,因为现在的硬盘实在太大了;完全免费就不得不考虑了,即使网络上有很多所谓的免费软件,但是,这些软件的广告却不是我们喜欢的;
3、wget命令的语法格式:
wget [options] [url]
4、wget 命令格式:
wget [参数列表] [目标软件、网页的网址]
-V,–version 显示软件版本号然后退出;
-h,–help 显示软件帮助信息;
-e,–execute=COMMAND 执行一个 “.wgetrc”命令
-o,–output-file=FILE 将软件输出信息保存到文件;
-a,–append-output=FILE 将软件输出信息追加到文件;
-d,–debug 显示输出信息;
-q,–quiet 不显示输出信息;
-i,–input-file=FILE 从文件中取得URL;
-t,–tries=NUMBER 是否下载次数(0表示无穷次)
-O –output-document=FILE 下载文件保存为别的文件名
-nc, –no-clobber 不要覆盖已经存在的文件
-N,–timestamping 只下载比本地新的文件
-T,–timeout=SECONDS 设置超时时间
-Y,–proxy=on/off 关闭代理
-nd,–no-directories 不建立目录
-x,–force-directories 强制建立目录
–http-user=USER 设置HTTP用户
–http-passwd=PASS 设置HTTP密码
–proxy-user=USER 设置代理用户
–proxy-passwd=PASS 设置代理密码
-r,–recursive 下载整个网站、目录(小心使用)
-l,–level=NUMBER 下载层次
-A,–accept=LIST 可以接受的文件类型
-R,–reject=LIST 拒绝接受的文件类型
-D,–domains=LIST 可以接受的域名
–exclude-domains=LIST 拒绝的域名
-L,–relative 下载关联链接
–follow-ftp 只下载FTP链接
-H,–span-hosts 可以下载外面的主机
-I,–include-directories=LIST 允许的目录
-X,–exclude-directories=LIST 拒绝的目录
wget命令的使用
1、不带参数命令运行
使用wget下载redis的tar.gz文件:
wget https://download.redis.io/releases/redis-6.0.8.tar.gz
该命令会默认下载文件到当前工作目录中;在文件下载过程中,会显示进度条、文件大小、下载速度等。
2、使用 -O 选项以其他名称保存下载的文件
要以其他名称保存下载的文件,使用-O选项,后跟指定名称即可:
wget -O redis.tar.gz https://download.redis.io/releases/redis-6.0.8.tar.gz
将即将下载的文件 redis-6.0.8.tar.gz 重命名为 redis.tar.gz 。
3、使用 -P 选项将文件下载到指定目录
默认情况下,wget将下载的文件保存在当前工作目录中;(不加参数的命令运行时,文件将会存储到当前终端所在的路径)
使用-P选项可以将文件保存到指定目录下,例如,下面将将文件下载到/usr/software目录下:
wget -P /usr/software https://download.redis.io/releases/redis-6.0.8.tar.gz
4、使用 -c 选项断点续传
当我们下载一个大文件时,如果中途网络断开导致没有下载完成,我们就可以使用命令的-c选项恢复下载,让下载从断点续传,无需从头下载。
wget -c https://download.redis.io/releases/redis-6.0.8.tar.gz
5、使用 -b 选项在后台下载
wget -b https://download.redis.io/releases/redis-6.0.8.tar.gz
默认情况下,下载过程日志重定向到当前目录中的wget-log文件中,要查看下载状态,可以使用tail -f wget-log查看。
6、使用 -i 选项下载多个文件
如果想要一次下载多个文件,首先需要创建一个文本文件,并将所有的url添加到该文件中,每个url都必须是单独的一行。
vim download_list.txt
然后使用-i选项,后跟该文本文件:
wget -i download_list.txt
7、使用 --limit-rate 选项限制下载速度
默认情况下,wget命令会以全速下载,但是有时下载一个非常大的资源的话,可能会占用大量的可用带宽,影响其他使用网络的任务,这时就要限制下载速度,可以使用--limit-rate选项。
例如,以下命令将下载速度限制为1m/s:
wget --limit-rate=1m https://download.redis.io/releases/redis-6.0.8.tar.gz
8、使用 -U 选项设定模拟下载(伪装代理名称下载)
如果远程服务器阻止wget下载资源,我们可以通过-U选项模拟浏览器进行下载,例如下面模拟谷歌浏览器下载。
wget -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.43 Safari/537.36' https://download.redis.io/releases/redis-6.0.8.tar.gz
或者
wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下载链接
9、使用 --tries 选项增加重试次数
如果网络有问题或下载一个大文件有可能会下载失败,wget默认重试20次,我们可以使用-tries选项来增加重试次数。
wget --tries=40 https://download.redis.io/releases/redis-6.0.8.tar.gz
10、通过FTP下载如果要从受密码保护的FTP服务器下载文件,需要指定用户名和密码
格式如下:
wget --ftp-user=<username> --ftp-password=<password> url
11、-o 选项将下载信息存入日志文件
下载信息不直接显示在终端,而是保存在一个指定的日志文件里
wget -o download.log url
12、-Q 选项限制总下载文件大小
wget -Q5m -i filelist.txt
上面命令的意思是:下载的文件超过5M时就退出下载。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。
13、--spider参数测试下载链接
测试下载链接是否有效。可以增加–spider参数进行检查。
wget --spider URL
下载链接正确有效时,显示如下:
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.
下载链接错误无效时,显示如下:
wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!
14、使用wget –mirror镜像网站
下面的例子是下载整个网站到本地。
wget –mirror -p –convert-links -P ./LOCAL URL
–miror:开户镜像下载
-p:下载所有为了html页面显示正常的文件
–convert-links:下载后,转换成本地的链接
-P ./LOCAL:保存所有文件和目录到本地指定目录
15、使用wget –reject过滤指定格式下载
你想下载一个网站,但你不希望下载图片,你可以使用以下命令。
wget –reject=gif url
16、使用wget -r -A下载指定格式文件
可以在以下情况使用该功能:
下载一个网站的所有图片
下载一个网站的所有视频
下载一个网站的所有PDF文件
wget -r -A .pdf url
去期待陌生,去拥抱惊喜。