概念

流媒体协议:Server-Client 间通信遵循的规定,如 RTSP 等。

封装格式:将压缩编码后的视频数据和音频数据按一定的格式放到一起,如 AVI,MP4,MKV 等。

编码格式:将像素数据压缩为码流,视频编码如 H.264,HEVC 等,音频编码如 AAC,MP3 等。

过程

解协议:流媒体协议数据在去除信令数据(播放控制等),经过解协议后,输出封装格式数据(如 FLV)。

解封装:封装格式的作用是将压缩编码后的视频数据和音频数据按一定的格式放到一起,解封装即实现分离的过程。

解码:将压缩的视频音频编码数据(H.264/..., MP3/...)转化为非压缩的视频音频原始数据(RGB/YUV, 音频抽样数据)。

最后需要进行视音频同步。