一。 简介:
我们知道,在Android Audio框架中,主要有四种播放模式: Deep buffer Playback, Low latency Playback, Offload playback和Mutichannel Playback。
Deep buffer Playback:音频文件是在AP侧解码成PCM文件,然后再送到ADSP中处理,音效部分处理的话是在AP侧或者ADSP中进行的。
标志: AUDIO_OUTPUT_FLAG_PRIMARY
支持的声道: 双声道
支持的采样率: 44.1Khz和48Khz
应用场景: 铃声,音视频播放,YouTube等
Low Latency Playback : 和Deep buffer Playback方式类似,但是它所分配的buffer更小些,并且在ADSP侧只做很少或者基本不做处理, 主要是播放一些对延迟要求较高的音频,
比如触碰音和游戏音。
标志:AUDIO_OUTPUT_FLAG_FAST
支持的声道:双声道
支持的采样率:44.1Khz和48Khz
应用场景: 触碰音,游戏音等
Offload Playback: 音频解码部分的工作是在ADSP中完成,AP侧只负责把音频数据送到ADSP中,送出去后,AP侧会进行休眠,ADSP中会分配一块较大的buffer去处理此数据,
在ADSP中进行解码,音效的处理工作,在ADSP解码器处理完数据之前,它会唤醒AP侧去送下一包数据。
支持的格式:MP3, AC3, EAC3, AAC, FLAC, 24bit PCM, 16 bit PCM
标志:AUDIO_OUTPUT_FLAG_DIRECT,AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD,AUDIO_OUTPUT_FLAG_NON_BLOCKING
支持的声道:1, 2, 2,1, 4, 5, 5.1, 6, 7.1
Mutichannel Playback: 和Deep buffer playback类似,但是,它多应用于处理多声道音频数据,采样的解码器是Multichannel Decoder
标志: AUDIO_OUTPUT_FLAG_DIRECT
支持的采样率: 44.1KHZ, 48k
应用场景:播放AAC格式5.1声道音源, 播放杜比AC3/eAC3格式音频
至于每个平台支持哪几种播放模式,以及个播放模式的标志,支持的格式,声道数,输出设备等信息,都是在audio_policy.conf文件里配置的。如下:
1 primary {
2 sampling_rates 44100|48000
3 channel_masks AUDIO_CHANNEL_OUT_STEREO
4 formats AUDIO_FORMAT_PCM_16_BIT
5 devices AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM|AUDIO_DEVICE_OUT_FM_TX
6 flags AUDIO_OUTPUT_FLAG_PRIMARY
7 }
8 low_latency {
9 sampling_rates 44100|48000
10 channel_masks AUDIO_CHANNEL_OUT_STEREO
11 formats AUDIO_FORMAT_PCM_16_BIT
12 devices AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM|AUDIO_DEVICE_OUT_FM_TX
13 flags AUDIO_OUTPUT_FLAG_FAST
14 }
15 compress_offload {
16 sampling_rates 8000|11025|16000|22050|32000|44100|48000
17 channel_masks AUDIO_CHANNEL_OUT_MONO|AUDIO_CHANNEL_OUT_STEREO
18 formats AUDIO_FORMAT_MP3|AUDIO_FORMAT_AAC_LC|AUDIO_FORMAT_AAC_HE_V1|AUDIO_FORMAT_AAC_HE_V2
19 devices AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM_TX
20 flags AUDIO_OUTPUT_FLAG_DIRECT|AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD|AUDIO_OUTPUT_FLAG_NON_BLOCKING
21 }
二. 播放模式的选择
1. 在AudioPlayer::start()中会选择一次播放模式:
1 status_t AudioPlayer::start(bool sourceAlreadyStarted) {
2 if (mAudioSink.get() != NULL) {
3
4 uint32_t flags = AUDIO_OUTPUT_FLAG_NONE;
5
6 /*如果支持DeepBuffer Playback模式,mCreateFlags & ALLOW_DEEP_BUFFERING != 0*/
7 if (allowDeepBuffering()) {
8 flags |= AUDIO_OUTPUT_FLAG_DEEP_BUFFER;
9 }
10 /*如果支持Offload模式,mCreateFlags & USE_OFFLOAD != 0*/
11 if (useOffload()) {
12 flags |= AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD;
13 }
14 }
15 }
mCreateFlags 是在创建AudioPlayer的时候传入的:
void AwesomePlayer::createAudioPlayer_l()
{
/*如果mOffloadAudio为true,选择OFFLOAD, 否则如果是纯音频,并且播放时长大于5s,就选择deep-buffer模式*/
if (mOffloadAudio) {
flags |= AudioPlayer::USE_OFFLOAD;
} else if (mVideoSource == NULL
&& (mDurationUs > AUDIO_SINK_MIN_DEEP_BUFFER_DURATION_US ||
(getCachedDuration_l(&cachedDurationUs, &eos) &&
cachedDurationUs > AUDIO_SINK_MIN_DEEP_BUFFER_DURATION_US))) {
flags |= AudioPlayer::ALLOW_DEEP_BUFFERING;
}
}
mOffloadAudio的值是在初始化解码器的时候赋值的:
1 status_t AwesomePlayer::initAudioDecoder() {
2 /*查询是否支持Offload模式播放,*/
3 mOffloadAudio = canOffloadStream(meta, (mVideoSource != NULL), vMeta,
4 (isStreamingHTTP() || isWidevineContent()),
5 streamType);
6
7
8 if (!mOffloadAudio && mAudioSource != NULL) {
9 ALOGI("Could not offload audio decode, try pcm offload");
10 sp<MetaData> format = mAudioSource->getFormat();
11 if (durationUs >= 0) {
12 format->setInt64(kKeyDuration, durationUs);
13 }
14 /*又查询了一次是否支持Offload模式播放,*/
15 mOffloadAudio = canOffloadStream(format, (mVideoSource != NULL), vMeta,
16 (isStreamingHTTP() || isWidevineContent()), streamType);
17 }
18 }
canOffloadStream()函数会从音频数据中获取格式,采样率,采样精度,播放时长,声道数,是否有视频源等信息,然后调用AudioSystem::isOffloadSupported()去进行查询,最终的判断是在
AudioPolicyManager中进行的,它主要有以下判断标准:
1). stream type必须是 AUDIO_STREAM_MUSIC
2). 如果音源是PCM格式,audio.offload.pcm.enable 属性必须为true
3). audio.offload.disable 属性必须为false
4). 如果音源是Multichannel类型的,例如声道数大于2,并且是AAC或者FLAC格式的,也不行
5). 如果有视频源,即has_video为true, av.offload.enable属性必须为true, av.streaming.offload.enable也要为true
6). 如果播放的音源格式是MP3, AAC, FLAC或者PCM,长度要大于audio.offload.min.duration.secs配置的值,例如该值被配置成30s,播放音源就得大于30s, 其他格式的,例如杜比AAC/AC3, ARMWB+格 式的没有这个要求。
7). 如果有其他基于PCM进行调试的音效处理的话,也不支持Offload模式
8). 最后一个, offload模式下的参数,采样率,格式,声道,必须要符合audio_policy.conf文件里面的配置
另外,播放时长,是在音视频分离器中计算出来的,例如AMR,是在AMRExtrator.cpp文件中:
1 AMRExtractor::AMRExtractor(const sp<DataSource> &source)
2 : mDataSource(source),
3 mInitCheck(NO_INIT),
4 mOffsetTableLength(0) {
5 String8 mimeType;
6 float confidence;
7 /*读取文件类型,NB或者WB, 它们的解码方式,采样率都是不一样的*/
8 if (!SniffAMR(mDataSource, &mimeType, &confidence, NULL)) {
9 return;
10 }
11
12 mIsWide = (mimeType == MEDIA_MIMETYPE_AUDIO_AMR_WB);
13
14 mMeta = new MetaData;
15 mMeta->setCString(
16 kKeyMIMEType, mIsWide ? MEDIA_MIMETYPE_AUDIO_AMR_WB
17 : MEDIA_MIMETYPE_AUDIO_AMR_NB);
18
19 mMeta->setInt32(kKeyChannelCount, 1);
20 mMeta->setInt32(kKeySampleRate, mIsWide ? 16000 : 8000);
21
22 off64_t offset = mIsWide ? 9 : 6;
23 off64_t streamSize;
24 size_t frameSize, numFrames = 0;
25 int64_t duration = 0;
26
27 if (mDataSource->getSize(&streamSize) == OK) {
28 while (offset < streamSize) {
29 /*计算每一frame的数据的大小*/
30 if (getFrameSizeByOffset(source, offset, mIsWide, &frameSize) != OK) {
31 return;
32 }
33
34 if ((numFrames % 50 == 0) && (numFrames / 50 < OFFSET_TABLE_LEN)) {
35 CHECK_EQ(mOffsetTableLength, numFrames / 50);
36 mOffsetTable[mOffsetTableLength] = offset - (mIsWide ? 9: 6);
37 mOffsetTableLength ++;
38 }
39
40 offset += frameSize;
41 /*每一帧数据播放20ms*/
42 duration += 20000; // Each frame is 20ms
43 numFrames ++;
44 }
45
46 mMeta->setInt64(kKeyDuration, duration);
47 }
48
49 mInitCheck = OK;
50 }