写本文的初衷是为了下载江疏影的淘宝直播回放视频,学了一下手机抓包。
现在已经不对直播、直播录制相关内容做探究了,超出本文内容的问题,还请另找良方。谢谢!

1、环境和软件介绍
系统:windows10-64bit(可以建WiFi热点)

工具:Wireshark-win64-2.6.1、M3U8批量下载器 V1.34.2

Wireshark-win64-2.6.1是一款免费的抓包软件,功能强大,官网https://www.wireshark.org/。

Wireshark 窗口介绍

使用Wireshark抓取淘宝直播回放源地址并下载_网络连接

wireshark与对应的OSI七层模型

使用Wireshark抓取淘宝直播回放源地址并下载_网络连接_02

M3U8批量下载器 V1.34.2是一款优秀的下载软件,其开发者是逍遥一仙。下载地址:M3U8批量下载器 V1.34.2。

2、准备工作
使用360免费WiFi,手机连接电脑,

使用手机连接上面的wifi,然后打开“网络和共享中心”,在里面点击我们使用随身wifi建立的网络连接:

使用Wireshark抓取淘宝直播回放源地址并下载_网络连接_03

里面可以看到该链接的网卡物理地址,以及ipv6的地址信息,这应该是随身wifi建立的一个网卡,之所以要查看这些信息,是因为我们要确定wireshark抓包的时候抓取那个网卡的信息,一般电脑上有多网卡或者是有虚拟机可能也会生成虚拟网卡。

打开wireshark,选择菜单“Capture”—“Interface”在弹出的对话框中有一列是IP栏,可以看到除了本机的网络连接以外,好像其他的网络链接这一栏显示的都是IPv6的地址,其中我们可以找到与上面网络连接信息中匹配的IP地址:

使用Wireshark抓取淘宝直播回放源地址并下载_网络连接_04

还可以点击该条目右边的“Details”按钮,打开详细信息对话框,在“802.3(Ethernet)”选项卡中,可以看到网卡的物理地址,该物理地址与上面的网络连接对话框中显示的物理地址是对应的:

使用Wireshark抓取淘宝直播回放源地址并下载_Wireshark_05

这样可以确定我们需要抓取哪个网卡的数据,确定之后,直接点击该条目的“Start”按钮,使用连上该wifi的手机随便访问网络,就可以抓取所有包了,如果嫌查看网卡信息麻烦,你可以把这几个显示有数据包的网卡都抓包试一下,就应该可以看出来随身wifi对应的是那个网络连接了。

在手机上查看连接该wifi被分配的IP地址信息:

使用Wireshark抓取淘宝直播回放源地址并下载_抓包_06

我的手机是连接在wlan2中的,抓包时选中wlan2,在Wireshark的菜单栏选中捕获-选项,进入设置,混杂栏中只勾选wlan2,过滤器中输入tcp port http,表示只捕获tcp协议中的http。

3、抓包
电脑端准备就绪后,点击开始,手机端进入淘宝直播回放页面播放直播视频,视频播放几秒后,停止抓包,在Wireshark顶部的过滤器中输入http contains “.m3u8”,如果成功抓包,会出现过滤结果:

使用Wireshark抓取淘宝直播回放源地址并下载_抓包_07

在Hypertext Transfer Protocol中可找到http.request.full_uri,右键复制-值即可得到m3u8链接

使用Wireshark抓取淘宝直播回放源地址并下载_网络连接_08

4、下载视频

将得到的m3u8链接放入M3U8批量下载器 V1.34.2中,添加-全部开始,

使用Wireshark抓取淘宝直播回放源地址并下载_抓包_09

等到下载完所有分片,软件会自动合并转码,输出.mp4格式视频。

使用Wireshark抓取淘宝直播回放源地址并下载_抓包_10

Oh,I get it.

使用Wireshark抓取淘宝直播回放源地址并下载_Wireshark_11

最后就使用“视频剪切合并器”来剪切需要的视频片段了,该软件还可以调节输出码率和分辨率等,如果是专业的视频处理者,可以采用premiere等专业软件。

后记
举一反三,一直播等支持直播回放的视频都可以通过抓包的方式通过抓包的方式抓取到原始视频流(指源链接用明文显示,不知道是否可以通过完全加密传输直播流,希望网络工程师们不吝赐教),通过Chrome浏览器中的审查元素获取m3u8的地址。

最后说说心路历程吧。

淘宝直播只能在手机端使用淘宝客户端观看,这是最大的问题(如果可以在电脑端观看,使用FVD Downloader或者维棠等工具就直接下载了)。没办法,只有手机抓包了。最开始用的是Fiddler抓包,然而我并没有找到m3u8的地址,可能Fiddler根本没有抓到直播源的包。然后换了Wireshark,寻找到一个包含“Media Type”项的包,通过追踪TCP流,找到连接源地址的包,在应用层中发现了m3u8的原地址。

2018年12月22日更新

如果通过过滤器没有发现m3u8文件。

原因1:你没有捕获成功。

解决方法:重新捕获,从视频播放之前就启动捕获,等视频播了半分钟再结束捕获。

原因2:视频不是切片成m3u8文件的

解决方法:追踪TCP流,看应用层中是否有视频源链接。如果没有视频链接,很可能是通过加密了。加密的视频请自行解决。

参考&感谢
1.使用wireshark抓取bilibili直播的真实地址
2.手机数据抓包以及wireshark技巧
3.网络抓包工具 wireshark 入门教程
4.wireshark分析m3u8
5.直播流m3u8网页怎么下载?
6.以手机app讲解wireshark的简单使用
7.wireshark怎么抓包、wireshark抓包详细图文教程
8.使用wireshark抓取视频流中的H264协议,并分析
9.Wireshark对常见视频应用的抓包分析的结果
10.关于怎么提取m3u8地址