音视频编解码简介

一、为什么音视频要编解码？
  • 一张图片2M是很正常的大小，1秒视频里有24帧，一分钟就是2G大小，传输上基本是不可能的，所以要压缩/解压缩，这就是编/解码
二、解码的方法
1、空间
  • 一般图片的一个像素点就3个颜色+1个透明度，一个像素点4bit。
  • 但是图片上有很多点是同样的颜色和透明度，所以可以做个映射表。映射表的key可以是坐标也可以是范围，例如：动画片颜色单一，压缩比非常大
2、时间
  • 两帧，也就是两张图片，其实大部分是一样的，所以我们可以存差异，所以帧有很多类型
    （1）基准帧，存的是完全的图片
    （2）存点差异的帧，就是哪点像素点的差异
    （3）有位移差异的帧，就是存矢量
    还有很多类型的帧
  • 直播和点对点 的编码策略是不一样的
三、编解码的效率
  • 由于是对像素的操作，所以计算量比较大，手机里有个芯片是专门编解码视频的（贵的手机才有，便宜手机可能没这个芯片），如果没这个芯片的话，就要靠CPU了，所以便宜手机看视频会发热
  • 用这个芯片编解码叫硬编解码，用cpu叫软编解码，编解码大多数都是发生在客户端
  • 服务端要干的事，就是预先收集手机的分辨率，这样就在服务端生成多个分辨率的视频，进一步减少网络传输。当然还有其他的，终极目的就是减少网络传输。提高用户体验。
四、音编解码
  • 傅里叶变换
  • 声音压缩算法，人耳对高频和低频不敏感，杂音过滤，等等
五、音视频同步
  • 由于人类对声音敏感，所以一般把声音的线当成主时间线，让视频随着声音走，如果视频不同步，就适当放慢/加快视频