最近实习过程中遇到了音频视频流的格式问题,进行了一些学习和总结。
问题背景
使用html5中的 video 标签去播放视频,但是发现有的flv/mp4格式的视频可以播放,有的flv/mp4格式的视频不能播放。而且视频不能播放,但音频可以播放(也就是音频编码格式是video可以解析的)。
关于video标签的使用示例如下:
<video width="400" controls="controls">
<source src="some.flv" type="video/mp4">
</video>
video标签支持什么样的视频格式?
html5中的 video 标签只支持MPEG4,Ogg,WebM 三种视频格式,浏览器支持情况如下:
video标签对这三种视频格式是有具体要求的:
Ogg = 带有 Theora 视频编码 + Vorbis 音频编码
MPEG4 = 带有 H.264 视频编码 + AAC 音频编码
WebM = 带有 VP8 视频编码 + Vorbis 音频编码
在项目中,遇到的视频其实是视频流解析不成功,说明视频流的编码不符合要求。那么我们看看H.264视频编码到底是什么,在了解它之前,我们需要先了解一下MPEG-4这个协议簇
MPEG-4协议簇
MPEG-4是个协议簇,包含了多个协议。
这里面需要了解的,第一个是mp4v,是一些视频文件中比较常用的视频流编码格式,使用本地的一些播放器其实是可以解析的。但对于html5 的 video 标签,我们也说了,只支持H.264,所以使用了这种视频流编码格式的视频,在html5 的 video 标签中是解析不了的。
第二个,是mp4a,这是MPEG-4协议簇下的音频协议,MPEG-4中包含了一部分AAC类型的定义,主要就是和它相关的,它是AAC类型的音频编码。
关于AAC类型在MPEG-4中只有一部分的定义,其实是因为AAC类型早在1997年就完成了,当时被称为MPEG-2 AAC,把它作为MPEG-2标准的延伸。但是随着MPEG-4音频标准在2000年成型,MPEG-2 AAC也被作为它的编码技术核心,同时追加了一些新的编码特性,所以我们又叫MPEG-4 AAC。所以AAC类型的定义其实在MPEG - 2、MPEG - 4中都有出现,详细情况如下,分别在MPEG - 2 的第7部分和MPEG - 4 的第三部分,也就是我们的mp4a了:
再看看第三个,H264 或者说 AVC,AVC协议可以认为是mp4v的升级:
The biggest difference you will typically see is file size.
(两者的区别主要在于文件大小)
H.264 will typically be able to compress video at a much lower bitrate than the standard MPEG-4 codec.
(H264协议能够比mp4v压缩得更小)
You should be able to get comparable quality video with much smaller file sizes.
(你得到的视频,视频流的部分将会被显著的压缩,质量更小)
意思是说,与mp4v相比,AVC具备更高的压缩效率,更适合传输,尤其对于我们网页来说,在后端管理视频的时候做好转码处理还是有帮助的。
可以来破案了
先看一个可以播放的视频,可以看到音频流是mp4a,视频流是H264,video标签是支持的。
再看一个播放不了的视频,音频流是mp4a,但视频流是mp4v。
mp4v的视频流,video标签是不支持的。所以播放的时候只能听到声音,但视频播放不了。
解决方法
现在找到问题的原因了,不能被播放的视频,视频的编码格式不是 h264。
利用格式工厂对视频,用h264视频编码格式重新编码,得到的视频就可以使用了。
图源自blog——html5 video标签不能播放mp4的问题
参考文章
[1] html5 video标签不能播放mp4的问题
[2] html5网页中用video标签无法播放MP4视频的解决方法