一、curl
- 由于当前的线上服务较多地使用了RESTful风格的API，所以集成测试就需要进行HTTP调用，查看返回的结果是否符合预期，curl命令当然是首选的测试方法
- 在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具
- 格式如下：
curl [options] [URL...]-
相关选项：
- -A/--user-agent <string> 设置用户代理发送给服务器
- -b/--cookie <name=string/file> cookie字符串或文件读取位置
- -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
- -C/--continue-at <offset> 断点续转
- -D/--dump-header <file> 把header信息写入到该文件中
- -e/--referer 来源网址
- -f/--fail 连接失败时不显示http错误
- -o/--output 把输出写到该文件中
- -O/--remote-name 把输出写到该文件中，保留远程文件的文件名
- -r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
- -s/--silent 静音模式。不输出任何东西
- -T/--upload-file <file> 上传文件
- -v/--verbose 打印更多的调试信息
- -u/--user <user[:password]> 设置服务器的用户和密码
- -w/--write-out [format] 什么输出完成后
- -x/--proxy <host[:port]> 在给定的端口上使用HTTP代理
- -#/--progress-bar 进度条显示当前的传送状态
- -a/--append 上传文件时，附加到目标文件
- --anyauth 可以使用“任何”身份验证方法
- --basic 使用HTTP基本验证
- -B/--use-ascii 使用ASCII文本传输
- -d/--data <data> HTTP POST方式传送数据
- --data-ascii <data> 以ascii的方式post数据
- --data-binary <data> 以二进制的方式post数据
- --negotiate 使用HTTP身份验证
- --digest 使用数字身份验证
- --disable-eprt 禁止使用EPRT或LPRT
- --disable-epsv 禁止使用EPSV
- --egd-file <file> 为随机数据(SSL)设置EGD socket路径
- --tcp-nodelay 使用TCP_NODELAY选项
- -E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)
- --cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)
- --key <key> 私钥文件名 (SSL)
- --key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)
- --pass <pass> 私钥密码 (SSL)
- --engine <eng> 加密引擎使用 (SSL). "--engine list" for list
- --cacert <file> CA证书 (SSL)
- --capath <directory> CA目 (made using c_rehash) to verify peer against (SSL)
- --ciphers <list> SSL密码
- --compressed 要求返回是压缩的形势 (using deflate or gzip)
- --connect-timeout <seconds> 设置最大请求时间
- --create-dirs 建立本地目录的目录层次结构
- --crlf 上传是把LF转变成CRLF
- --ftp-create-dirs 如果远程目录不存在，创建远程目录
- --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
- --ftp-pasv 使用 PASV/EPSV 代替端口
- --ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
- --ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输
- --ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输
- -F/--form <name=content> 模拟http表单提交数据
- -form-string <name=string> 模拟http表单提交数据
- -g/--globoff 禁用网址序列和范围使用{}和[]
- -G/--get 以get的方式来发送数据
- -h/--help 帮助
- -H/--header <line> 自定义头信息传递给服务器
- --ignore-content-length 忽略的HTTP头信息的长度
- -i/--include 输出时包括protocol头信息（打印请求响应头信息）
- -I/--head 只打印HTTP头
- -j/--junk-session-cookies 读取文件时忽略session cookie
- --interface <interface> 使用指定网络接口/地址
- --krb4 <level> 使用指定安全级别的krb4
- -k/--insecure 允许不使用证书到SSL站点
- -K/--config 指定的配置文件读取
- -l/--list-only 列出ftp目录下的文件名称
- --limit-rate <rate> 设置传输速度
- --local-port<NUM> 强制使用本地端口号
- -m/--max-time <seconds> 设置最大传输时间
- --max-redirs <num> 设置最大读取的目录数
- --max-filesize <bytes> 设置最大下载的文件总量
- -M/--manual 显示全手动
- -n/--netrc 从netrc文件中读取用户名和密码
- --netrc-optional 使用 .netrc 或者 URL来覆盖-n
- --ntlm 使用 HTTP NTLM 身份验证
- -N/--no-buffer 禁用缓冲输出
- -p/--proxytunnel 使用HTTP代理
- --proxy-anyauth 选择任一代理身份验证方法
- --proxy-basic 在代理上使用基本身份验证
- --proxy-digest 在代理上使用数字身份验证
- --proxy-ntlm 在代理上使用ntlm身份验证
- -P/--ftp-port <address> 使用端口地址，而不是使用PASV
- -Q/--quote <cmd> 文件传输前，发送命令到服务器
- --range-file 读取（SSL）的随机文件
- -R/--remote-time 在本地生成文件时，保留远程文件时间
- --retry <num> 传输出现问题时，重试的次数
- --retry-delay <seconds> 传输出现问题时，设置重试间隔时间
- --retry-max-time <seconds> 传输出现问题时，设置最大重试时间
- -S/--show-error 显示错误
- --socks4 <host[:port]> 用socks4代理给定主机和端口
- --socks5 <host[:port]> 用socks5代理给定主机和端口
- -t/--telnet-option <OPT=val> Telnet选项设置
- --trace <file> 对指定文件进行debug
- --trace-ascii <file> Like --跟踪但没有hex输出
- --trace-time 跟踪/详细输出时，添加时间戳
- --url <URL> Spet URL to work with
- -U/--proxy-user <user[:password]> 设置代理用户名和密码
- -V/--version 显示版本信息
- -X/--request <command> 指定什么命令
- -y/--speed-time 放弃限速所要的时间。默认为30
- -Y/--speed-limit 停止传输速度的限制，速度时间'秒
- -z/--time-cond 传送时间设置
- -0/--http1.0 使用HTTP 1.0
- -1/--tlsv1 使用TLSv1（SSL）
- -2/--sslv2 使用SSLv2的（SSL）
- -3/--sslv3 使用的SSLv3（SSL）
- --3p-quote like -Q for the source URL for 3rd party transfer
- --3p-url 使用url，进行第三方传送
- --3p-user 使用用户名和密码，进行第三方传送
- -4/--ipv4 使用IP4
- -6/--ipv6 使用IP6
演示案例
- 打印请求响应头信息
curl -i "www.baidu.com"
- 仅返回http头
curl -I "www.baidu.com"
- 打印更多的调试信息（信息过多就不全部截图了）
curl -v "www.baidu.com"
- 使用POST方式提交http请求
curl -d 'abc=def' "www.baidu.com"
- 打印HTTP响应码
curl -sw '%{http_code}' "www.baidu.com"
演示案例
- 将内容保存到网页中
curl -o baidu.html "www.baidu.com"
- 将内容重定向文件中也可以
curl "www.baidu.com" >> baidu2.html
演示案例
- 保存http的response里面的cookie信息
curl -c cookiec.txt "www.baidu.com"
二、scp演示案例
- 下载文件
curl -o demo.jpg http:www.linux.com/demo.jpg
- 使用-O下载
curl -O http:www.linux.com/demo.jpg
- 循环下载：demo1.jpg、demo2.jpg、demo3.jpg、demo4.jpg、demo5.jpg
curl -O http://www.linux.com/demo[1-5].jpg
- 分块下载
curl -r 0-100 -o demo_part1.jpg http://www.linux.com/demo.jpg curl -r 100-200 -o demo_part2.jpg http://www.linux.com/demo.jpg curl -r 200- -o demo_part3.jpg http://www.linux.com/demo.jpg cat demo_part* > demo.jpg
- 通过ftp下载文件
curl -O -u 用户名:密码 ftp://www.linux.com/demo.jpg curl -O ftp://用户名:密码@www.linux.com/demo.jpg
- 显示下载进度条
curl -# -O http://www.linux.com/demo.jpg
- 断点续传：如果在下载demo.jpg的过程中突然掉线了，可以使用以下的方式续传
curl -C -O http://www.linux.com/demo.jpg
- 上传文件
curl -T demo.jpg -u 用户名:密码 ftp://www.linux.com/img/
- secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令
- scp命令是Linux系统中功能强大的文件传输命令，可以实现从本地到远程，以及从远程到本地的双向文件传输，用起来非常方便，常用来在线上定位 问题时将线卜的一些文件下载到本地进行详查，或者将本地的修改上传到服务器上
- scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版
- 格式如下：
scp [-346BCpqrTv] [-c cipher] [-F ssh_config] [-i identity_file]
[-l limit] [-o ssh_option] [-P port] [-S program]
[[user@]host1:]file1 ...[[user@]host2:]file2
-
相关参数：
- -1： 强制scp命令使用协议ssh1
- -2： 强制scp命令使用协议ssh2
- -4： 强制scp命令只使用IPv4寻址
- -6： 强制scp命令只使用IPv6寻址
- -B： 使用批处理模式（传输过程中不询问传输口令或短语）
- -C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
- -p：保留原文件的修改时间，访问时间和访问权限。
- -q： 不显示传输进度条。
- -r： 递归复制整个目录。
- -v：详细方式显示输出。scp和ssh会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
- -c cipher： 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
- -F ssh_config： 指定一个替代的ssh配置文件，此参数直接传递给ssh。
- -i identity_file： 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh
- -l limit： 限定用户所能使用的带宽，以Kbit/s为单位。
- -o ssh_option： 如果习惯于使用ssh_config中的参数传递方式，
- -P port：注意是大写的P, port是指定数据传输用到的端口号
- -S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh的选项
演示案例
从本地复制到远程：
第1,2个指定了用户名，命令执行后需要再输入密码，第1个仅指定了远程的目录，文件名字不变，第2个指定了文件名
第3,4个没有指定用户名，命令执行后需要输入用户名和密码，第3个仅指定了远程的目录，文件名字不变，第4个指定了文件名
scp local_file remote_username@remote_ip:remote_folder scp local_file remote_username@remote_ip:remote_file scp local_file remote_ip:remote_folder scp local_file remote_ip:remote_file
演示案例
- 复制目录命令格式：
- 第1个指定了用户名，命令执行后需要再输入密码；
- 第2个没有指定用户名，命令执行后需要输入用户名和密码；
scp -r local_folder remote_username@remote_ip:remote_folder scp -r local_folder remote_ip:remote_folder
演示案例
- 从远程复制到本地
- 从远程复制到本地，只要将从本地复制到远程的命令的后2个参数调换顺序即可，如下实例：
scp root@www.runoob.com:/home/root/others/music /home/space/music/1.mp3 scp -r www.runoob.com:/home/root/others/ /home/space/music/
说明
- 1.如果远程服务器防火墙有为scp命令设置了指定的端口，我们需要使用 -P 参数来设置命令的端口号，命令格式如下：
#scp 命令使用端口号 4588 scp -P 4588 remote@www.runoob.com:/usr/local/sin.sh /home/administrator
- 2.使用scp命令要确保使用的用户具有可读取远程服务器相应文件的权限，否则scp命令是无法起作用的
