Wget的使用

什么是wget

wget命令用来从指定的URL下载文件。wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。


下载wget

yum install wget
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.cn99.com
 * extras: mirrors.cn99.com
 * updates: mirrors.neusoft.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package wget.x86_64 0:1.14-18.el7_6.1 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

=================================================================================================================================================================================================================
 Package                                        Arch                                             Version                                                    Repository                                      Size
=================================================================================================================================================================================================================
Installing:
 wget                                           x86_64                                           1.14-18.el7_6.1                                            base                                           547 k

Transaction Summary
=================================================================================================================================================================================================================
Install  1 Package

Total download size: 547 k
Installed size: 2.0 M
Is this ok [y/d/N]: y
Downloading packages:
wget-1.14-18.el7_6.1.x86_64.rpm                                                                                                                                                           | 547 kB  00:00:00     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : wget-1.14-18.el7_6.1.x86_64                                                                                                                                                                   1/1 
  Verifying  : wget-1.14-18.el7_6.1.x86_64                                                                                                                                                                   1/1 

Installed:
  wget.x86_64 0:1.14-18.el7_6.1                                                                                                                                                                                  

Complete!


基础语法
wget (选项) (参数)


选项

选项 含义
-a<日志文件> 在指定的日志文件中记录资料的执行过程;
-A<后缀名> 指定要下载文件的后缀名,多个后缀名之间使用逗号进行分隔;
-b 进行后台的方式运行wget;
-B<连接地址> 设置参考的连接地址的基地地址;
-c 继续执行上次终端的任务;
-C<标志> 设置服务器数据块功能标志on为激活,off为关闭,默认值为on;
-d 调试模式运行指令;
-D<域名列表> 设置顺着的域名列表,域名之间用“,”分隔;
-e<指令> 作为文件“.wgetrc”中的一部分执行指定的指令;
-h 显示指令帮助信息;
-i<文件> 从指定文件获取要下载的URL地址;
-l<目录列表> 设置顺着的目录列表,多个目录用“,”分隔;
-L 仅顺着关联的连接;
-r 递归下载方式;
-nc 文件存在时,下载文件不覆盖原有文件;
-nv 下载时只显示更新和出错信息,不显示指令的详细执行过程;
-q 不显示指令执行过程;
-nh 不查询主机名称;
-v 显示详细执行过程;
-V 显示版本信息;
–passive-ftp 使用被动模式PASV连接FTP服务器;
–follow-ftp 从HTML文件中下载FTP连接文件。

参数就是URL地址


实例

wget http://test.com/testfile.zip ->下载指定文件到当前文件夹
wget -O wordpress.zip http://test.com/download ->指定保存名字
wget --limit-rate=300k http://www.linuxde.net/testfile.zip ->限制下载速度
wget -c http://www.linuxde.net/testfile.zip ->断点续传
wget -b http://www.linuxde.net/testfile.zip ->后台下载

# 设置使用指定浏览器下载(伪装下载)
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip

wget --spider url ->测试下载
wget --tries=40 URL ->设置重试次数为40
wget -i filelist.txt ->从filelist.txt获取下载地址

# 镜像网站
# --miror开户镜像下载。
# -p下载所有为了html页面显示正常的文件。
# --convert-links下载后,转换成本地的链接。
# -P ./LOCAL保存所有文件和目录到本地指定目录
wget --mirror -p --convert-links -P ./LOCAL URL

wget --reject=gif ur ->下载一个网站,但你不希望下载图片,可以使用这条命令
wget -o download.log URL ->把下载信息存入日志文件
wget -Q5m -i filelist.txt ->限制总下载文件大小
wget -r -A.pdf url ->下载指定格式文件

# FTP下载
wget ftp-url
wget --ftp-user=USERNAME --ftp-password=PASSWORD url