curl获取网站的响应时间




0.问题


总有人反馈说打开某个页面比较慢,

但是他们并不清楚到底慢在哪里。

同样的问题,

在我们访问外部业务的接口时,

往往也是感觉很慢,

但就是不清楚慢在哪里。




1.分析


当我们打开一个网页,

对于一个不需要考虑技术的人,

想象的画面应该是,

我们通过地址栏问浏览器要个东西,

然后浏览器通过我们提供的地址去对应的服务器取对应的文件,

然后根据服务器的回应将内容显示给我们。


从一个运维人员的视角,

可能就不能这么简单粗暴地想象了,

否则可能永远也无法确认问题究竟出现在哪里了。

wKiom1kX67SyNSqHAAKGkcagTis841.png-wh_50



简单点来概括下,

1.当我们打开浏览器,在地址栏输入www.qq.com时,

浏览器首先会根据浏览器缓存,电脑缓存,电脑hosts文件,DNS服务来解析www.qq.com对应的网络地址是多少,这个过程会根据解析地方的不同而耗时不同。


使用浏览器缓存和电脑缓存,

返回的结果是最快的,但是可能不是最新的,也可能是错误的。

通过hosts文件解析域名的优先级是高于DNS服务的解析的,

我们也可以在hosts中修改某些域名的解析结果。


2.浏览器获得域名相应IP后,开始与服务器进行三次握手进行连接。

3.浏览器与服务器建立连接后向其发起服务请求

4.服务器内部处理完请求后,将处理结果发送给浏览器

5.浏览器解析服务器发送的结果,然后展示给用户


wKioL1kX68iS9lg3AAOA_bEGVE0404.png-wh_50


上面简单描述了浏览器在与服务器进行服务请求的过程,

其中任何一个环节耗时过久都将影响到用户访问网站的速度。



2.Curl获取相关数据


使用cur  -w/--write-out l获取相关数据


几个比较关键的参数:


url_effective 最后获取的URL。

http_code 上一次HTTP(S)或FTP(S)操作返回的响应码。在7.18.2版加入的response_code显示同样的信息。

http_connect 在最后一次对cURL的CONNECT请求的响应(从代理)中发现的数值代码。 (在7.12.4版加入)

time_total 全部操作耗费的时间,单位为秒。精确到毫秒。

time_namelookup 从开始到域名解析完成耗费的时间,单位为秒。

time_connect TCP连接远程主机(或代理服务器)所耗时间,单位为秒。

time_appconnect SSL/SSH/等与远程主机连接/握手完成花费的时间,单位为秒。(在7.19.0 版加入)

time_pretransfer 从开始到文件将要传输前花费的时间,单位为秒。包括指定的协议所有预传输命令和negotiations。

time_redirect 所有重定向步骤的时间,包域名解析、连接、预传输和最后事务开始前的传输,单位为秒。time_redirect显示多重重定向的完整执行时间。(在7.12.3版加入 )

time_starttransfer  从开始到第一个字节将被传输前耗费的时间,单位为秒。

这包括time_pretransfer和服务器需要的运算结果的时间。

size_download下载的总字节数。

size_upload上传的总字节数。

size_header 下载的header的总字节数。

size_request 发送的HTTP请求的总字节数。

speed_download curl成功下载的平均下载速度。

speed_upload curl成功上传的平均上传速度。





3.获取请求的耗时信息



针对特定的请求,通过curl可以获取到各个环节的耗时情况,

比如域名解析的耗时,建立连接的耗时,服务端处理的耗时,总的耗时。



国内某合作方素材


curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://di.adsame.com/flv_test/20161107143341_231.jpg";


http_code: 200

http_connect:000

content_type:image/jpeg

time_dns:0.005

time_redirect:0.000

time_pretransfer:0.013

time_connect:0.013

time_starttransfer:0.021

time_total:0.029:

speed_download:441815.000


苹果官网图片素材


curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://images.apple.com/v/iphone-7/d/images/overview/design_hero_large.jpg";


http_code: 200

http_connect:000

content_type:image/jpeg

time_dns:0.449

time_redirect:0.000

time_pretransfer:0.456

time_connect:0.456

time_starttransfer:0.465

time_total:0.493:

speed_download:419293.000

 


微博短域名链接


curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n "  -L "http://t.cn/Rip1YJA"


http_code: 200

http_connect:000

content_type:text/html;charset=GBK

time_dns:0.210

time_redirect:0.079

time_pretransfer:0.240

time_connect:0.240

time_starttransfer:0.290

time_total:0.369:

speed_download:4349.000

 


4.其他


目前只能用curl获取到指定请求的静态页面,还是无法像浏览器那样将页面中的链接都请求到,

这样就无法真实反应浏览器中访问页面的耗时情况。

不过当用户反映访问某个页面慢的时候,

通过curl访问对应的地址基本上可以确定,

单个请求主要耗时在哪里。