流量复制(记录真实 请求数据 到文件)

把线上的真实流量引流到测试环境,模拟线上用户操作,让测试机和真实的用户交互,让测试环境在正式灰度前暴露问题,增加上线信心

流量复制的常见方案

一、基于应用层的请求复制 

优点:实现简单

缺点:

1. 请求复制从应用层开始,要穿过整个协议栈,容易抢占应用资源,如连接资源

2.测试跟实际应用耦合在一起,容易影响线上机器,也无法复制大量请求

3. 很难控制网络延迟

二、基于底层数据包的请求复制

   无需穿透整个协议栈,可以从数据链路层或者网络层做流量复制,不走tcp层,这样对线上机器的影响就会少很多

流量复制的两种类型:

1. 实时复制 ,实时的把线上流量复制到测试机

2. 离线复制,先把流量复制下来,保存在PCAP抓包文件中,然后在测试机离线回放

使用场景:

压力测试 

回归测试

线上问题重现

架构及原理:

 

【测试】流量复制工具之TCPCopy|记录线上真实请求_返回结果

TCPCOPY包括三个部分:

1. tcpcopy :运行在【线上机器】,捕获线上请求

2. intercept: 运行在【辅助机器】,负责向tcpcopy发送响应信息。

3. 目标机器:被测机器

 

tcpcopy默认捕获网络层的包(也可以配置为捕获数据链路层的包),然后做一些必要的处理,将包发送给被测机器

tcpcopy拷贝一次流量访问的步骤如下:

① 一个客户请求到达【线上机器】;

② 拷贝IP层(或者数据链路层)的包到tcpcopy进程;

③ tcpcopy修改包的目的及源地址,发给目标测试机;

④ 拷贝的包到达目标测试机;

⑤ 目标测试机的应用处理【访问请求】,并返回结果给辅助机;

⑥ 返回结果在辅助机的数据链路层被截获,丢弃【返回结果】的body,复制【返回结果】的ip header;

⑦ 辅助机将响应header发送给线上机器的tcpcopy进程。

【测试】流量复制工具之TCPCopy|记录线上真实请求_返回结果_02

使用方式:

一、 实时复制流量(tcpcopy)

1. 目标机器配置路由 ,将响应包路由到辅助机

route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2

其中2.2.2.2 为辅助机, 1.1.1.0 为客户端地址

2. 辅助机捕获目标机器发来的响应包 (和抓包命令类似)

./intercept -F <filter> -i <device,>

例子:./intercept -i eth0 -F 'tcp and src port 8080' -d

捕获网卡 eth0 ,端口8080 基于tcp的包

3. 线上机器捕获包,并修改客户端地址,并把包发送给目标机器,等待辅助机发送响应包

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]

例子:

 ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -d        #全流量复制

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d  #复制20%的流量

  ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -n 2  -d  #复制2倍流量

二、离线复制流量(tcpdump)

使用tcpdump抓包

 tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100

流量回放

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap

遇到的问题:

编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包:

 apt-get install libpcap-dev

 

存在的问题:

1.  不支持加密协议https等 ,可以进行二次开发,但是略复杂

2.  可能会丢包:作者建议最好将三台机器部署在同一个网段,或者使用代理,可以降低丢包率

参考:

​https://github.com/session-replay-tools/tcpcopy​


作者:羊yang678

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。