1. 音频开发主要应用有
    1.1 音频播放器,录音机,语音电话,音视频直播应用,音频编辑处理软件,蓝牙耳机、音箱等。
  2. 音频开发具体内容有
    2.1 音频采集与播放
    2.2 音频算法处理(去噪,静音检测,回事消除,音效处理,功放/增强,混音/分离)
    2.3 音频编解码和格式转换
    2.4 音频传输协议的开发(SIP,A2DP, AVRCP,RTP,RTCP)
  3. 音频应用的难点
    3.1 延时敏感、卡顿明感、噪声抑制、回声消除、静音检测、混音算法等。
  4. 音频开发基础概念有
    4.1 采样率,采样是从模拟语音信号转数字信号的过程,所有的模拟信号都需要通过采样转为可以表示的数字信号。目前44100Hz是唯一可以保证兼容所有Android手机的采样率。
    4.2 奈奎斯特理论:采样频率不低于音频信号最高频率的两倍,就可以做到无误还原原始的声音。通常人耳能听到的20HZ-20KHZ的声音,为了保证不失真,采样频率应该在40KHZ以上。
    4.3 量化精度(位宽),每一个采样点,都需要一个数值来表示大小,这个大小可以是4bit,8bit,16bit… 位数越多,表示越精细,声音质量就越好,当然,数据量也成倍增大。ENCODING_PCM_16BIT是可以保证兼容所有Android手机的。
    4.4 声道数,音频可以从不同的音频源采集并输出到不同的扬声器,一般表示声音录制时的音源数量或者回放时相应的扬声器数量。常见有单身道mono及双声道stereo。
    4.5 音频帧,音频数据和视频帧不一样,视频帧就是一张图像,音频数据是流式结构,本身没有明确的一帧的概念,只是为了音频算法处理传输方便,约定2.5ms~60ms为单位的数据量为一帧音频。这个时间为采样时间。AndioRecord内部的音频缓冲区大小不能低于一帧音频帧的大小。一帧音频帧大小:int size = 采样率x位宽x采样时间x通道数。AudioRecord类提供了一个帮助我们确定缓冲区大小的函数,int getMinBufferSize(int sampleRateInHz, int channelConfig,int audioFormat)。假设某双通道音频信号采样率为8k,位宽16bit,20ms一帧的采样时间。则一帧数据的大小为:size = 8000x16x0.02x2 = 640byte(字节)
  5. 常见音频编码方式
    5.1 A/D需要采样和量化,对应上面提到的采样率和量化宽度。量化的过程被称为编码,根据不同的量化策略,有不同的编码方式,常见有PCM,ADPCM。这些数据代表了无损的原始数字音频信号,添加一些文件头信息,就可以存储为wav文件了。
    5.2 获取不同手机终端的编解码分辨率,可以通过adb工具获取/system/etc/media_codecs.xml文件。
  6. 常见音频压缩格式
    原理:因为有冗余信息,所以需要压缩
    6.1 频谱掩蔽效应:人耳能察觉到的频率范围为20hz-20khz,在这个频率范围之外的音频信号属于冗余信号。
    6.2 时域掩蔽效应:当强音信号和弱音信号同时出现时,弱信号会听不到,因此此时弱音信号也属于冗余信号。
  7. Android VoIP 相关的开源应用有
    7.1 Imsdroid,sipdroid,csipsimple,linephone,WebRTC等。
  8. 音频算法处理的开源库有
    8.1 Speex,ffmpeg,webrtc
  9. Android 提供音频相关的API
    9.1 音频采集:MediaRecoder,AudioRecord
    AudioTrack 提供了两种播放模式,一种是static方式,一种是streaming方式,前者需要一次性将所有数据都写入播放缓冲区,简单高效,通常用于铃声播放,系统提醒的音频片段,后者需要按照一定时间间隔不断写入音频数据,理论上可以任何音频播放的场景。
    9.2 音频播放:SoundPool,MediaPlayer,AudioTrack
    9.3 音频编解码:MediaCodec
    9.4 NDK API:OpenSL ES
  10. 音频开发的延时标准
    10.1 对于高质量语音可以接受延时为300ms,一般而言,如果时延在300~400ms,通话的交互性比较差,但还可以接受,时延大于400ms时,则交互通信非常困难。