curl获取网站的响应时间

0.问题

总有人反馈说打开某个页面比较慢，

但是他们并不清楚到底慢在哪里。

同样的问题，

在我们访问外部业务的接口时，

往往也是感觉很慢，

但就是不清楚慢在哪里。

1.分析

当我们打开一个网页，

对于一个不需要考虑技术的人，

想象的画面应该是，

我们通过地址栏问浏览器要个东西，

然后浏览器通过我们提供的地址去对应的服务器取对应的文件，

然后根据服务器的回应将内容显示给我们。

从一个运维人员的视角，

可能就不能这么简单粗暴地想象了，

否则可能永远也无法确认问题究竟出现在哪里了。

简单点来概括下，

1.当我们打开浏览器，在地址栏输入www.qq.com时，

浏览器首先会根据浏览器缓存，电脑缓存，电脑hosts文件，DNS服务来解析www.qq.com对应的网络地址是多少，这个过程会根据解析地方的不同而耗时不同。

使用浏览器缓存和电脑缓存，

返回的结果是最快的，但是可能不是最新的，也可能是错误的。

通过hosts文件解析域名的优先级是高于DNS服务的解析的，

我们也可以在hosts中修改某些域名的解析结果。

2.浏览器获得域名相应IP后，开始与服务器进行三次握手进行连接。

3.浏览器与服务器建立连接后向其发起服务请求

4.服务器内部处理完请求后，将处理结果发送给浏览器

5.浏览器解析服务器发送的结果，然后展示给用户

上面简单描述了浏览器在与服务器进行服务请求的过程，

其中任何一个环节耗时过久都将影响到用户访问网站的速度。

2.Curl获取相关数据

使用cur  -w/--write-out l获取相关数据

几个比较关键的参数：

url_effective 最后获取的URL。

http_code 上一次HTTP(S)或FTP(S)操作返回的响应码。在7.18.2版加入的response_code显示同样的信息。

http_connect 在最后一次对cURL的CONNECT请求的响应(从代理)中发现的数值代码。 （在7.12.4版加入)

time_total 全部操作耗费的时间，单位为秒。精确到毫秒。

time_namelookup 从开始到域名解析完成耗费的时间，单位为秒。

time_connect TCP连接远程主机(或代理服务器)所耗时间，单位为秒。

time_appconnect SSL/SSH/等与远程主机连接/握手完成花费的时间，单位为秒。(在7.19.0 版加入)

time_pretransfer 从开始到文件将要传输前花费的时间，单位为秒。包括指定的协议所有预传输命令和negotiations。

time_redirect 所有重定向步骤的时间，包域名解析、连接、预传输和最后事务开始前的传输，单位为秒。time_redirect显示多重重定向的完整执行时间。(在7.12.3版加入 )

time_starttransfer  从开始到第一个字节将被传输前耗费的时间，单位为秒。

这包括time_pretransfer和服务器需要的运算结果的时间。

size_download下载的总字节数。

size_upload上传的总字节数。

size_header 下载的header的总字节数。

size_request 发送的HTTP请求的总字节数。

speed_download curl成功下载的平均下载速度。

speed_upload curl成功上传的平均上传速度。

3.获取请求的耗时信息

针对特定的请求，通过curl可以获取到各个环节的耗时情况，

比如域名解析的耗时，建立连接的耗时，服务端处理的耗时，总的耗时。

国内某合作方素材

curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://di.adsame.com/flv_test/20161107143341_231.jpg";

http_code: 200

http_connect:000

content_type:p_w_picpath/jpeg

time_dns:0.005

time_redirect:0.000

time_pretransfer:0.013

time_connect:0.013

time_starttransfer:0.021

time_total:0.029:

speed_download:441815.000

苹果官网图片素材

curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://p_w_picpaths.apple.com/v/iphone-7/d/p_w_picpaths/overview/design_hero_large.jpg";

http_code: 200

http_connect:000

content_type:p_w_picpath/jpeg

time_dns:0.449

time_redirect:0.000

time_pretransfer:0.456

time_connect:0.456

time_starttransfer:0.465

time_total:0.493:

speed_download:419293.000

微博短域名链接

curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n "  -L "http://t.cn/Rip1YJA"

http_code: 200

http_connect:000

content_type:text/html;charset=GBK

time_dns:0.210

time_redirect:0.079

time_pretransfer:0.240

time_connect:0.240

time_starttransfer:0.290

time_total:0.369:

speed_download:4349.000

4.其他

目前只能用curl获取到指定请求的静态页面，还是无法像浏览器那样将页面中的链接都请求到，

这样就无法真实反应浏览器中访问页面的耗时情况。

不过当用户反映访问某个页面慢的时候，

通过curl访问对应的地址基本上可以确定，

单个请求主要耗时在哪里。