音视频开发专业词汇总结及音视频处理流程

音视频开发岗专业词汇总结，这些词汇大量出现在音视频相关的代码中：

 

缩略语         英文全名                   中文解释

SDK     Software development Kit      软件开发工具包

MPP     Media Processing Platform     媒体处理平台

ISP     Image Signal Pipeline         图像信号处理

LDC     Lens Distortion Correction    镜头畸变校正

AI      Auto Iris Control             自动光圈控制

VI      Video Input                   视频输入

VO      Video Output                  视频输出

VPSS    Video Process Sub-System      视频前处理单元

VEDU    Video Encode Unit             视频编码单元

IVE     Intelligent Video Engine      智能加速引擎

PTS     Presentation Time Stamp       时间戳

DDRC    Double-Data Rate Controller   DDR 控制器

MMZ     Media Memory Zone             媒体内存区域

VCAP    Video Capture                 视频捕获

VPROC   Video Processor               视频处理器

VENC    Video Encoder                 视频编码器

VDEC    Video Decoder                 视频解码器

DISP    Display                       显示输出

ACAP    Audio Capture                 音频捕获

AENC    Audio Encoder                 音频编码

ADEC    Audio Decoder                 音频解码器

AO      Audio Output                  音频输出

VGS     Video Graphics System         视频图形系统

GDC     Geometric Distortion Correction  几何畸变矫正 

 

以海思框架为例：

 

 

海思媒体处理平台的主要内部处理流程如图所示，主要分为视频输入（VI）、视频处理（VPSS）、视频编码（VENC）、视频解码（VDEC）、视频输出(VO)、视频拼接(AVS)、音频输入(AI)、音频输出(AO)、音频编码（AENC）、音频解码（ADEC）、区域管理（REGION）等模块。主要的处理流程介绍如图 ：

 

 

• VI 模块捕获视频图像，可对其做剪切、去噪等处理，并输出多路不同分辨率的图像数据。

 

• 解码模块对编码后的视频码流进行解码，并将解析后的图像数据送 VPSS 进行图像处理，再送 VO 显示。可对 H.265/H.264/JPEG 格式的视频码流进行解码。

 

• VPSS 模块接收 VI 和解码模块发送过来的图像，可对图像进行图像增强、锐化等处理，并实现同源输出多路不同分辨率的图像数据用于编码、预览或抓拍。

 

• 编码模块接收 VI 捕获并经 VPSS 处理后输出的图像数据，可叠加用户通过 Region模块设置的 OSD 图像，然后按不同协议进行编码并输出相应码流。

 

•  VO 模块接收 VPSS 处理后的输出图像，可进行播放控制等处理，最后按用户配置的输出协议输出给外围视频设备。

 

• AVS 接收多路 VI 采集的图像，进行拼接合成全景图像。

 

• AI 模块捕获音频数据，然后 AENC 模块支持按多种音频协议对其进行编码，最后输出音频码流。

 

• 用户从网络或外围存储设备获取的音频码流可直接送给 ADEC 模块，ADEC 支持解码多种不同的音频格式码流，解码后数据送给 AO 模块即可播放声音。