前言:前面一篇分析了mediaplayerservice及MediaPlayer中的CS模型,但是对于如何能把数据解析出来,渲染到最终的SurfaceView上显示,并且播放起来,我们依然还不得而知,从今天开始,就开始介绍多媒体框架中数据解析->解码->渲染输出过程,也就是后面几篇都要介绍的stagefright框架。 
先看下今天的Agenda:

  • Stagefright的整体结构中角色

  • Stagefright在playback中角色

  • Stagefright初识

  • StagefrightPlayer及AwesomePlayer初识

  • MediaExtractor数据解析流程

Stagefright的整体结构中角色

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA

Stagefright在playback中角色

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_02

Stagefright初识

前面一篇中,分析到mediaplayerservice会调到Stagefright中,进行编码解码操作 
在libsstagefright中,预设的多媒体解码是openCore,由于其过于庞大和复杂,需要成本较高,开始引进了另一个框架,也就是stagefright框架,以后默认情况android选择stagefright,但是并没有完全抛弃opencore,做了一个OMX层,仅仅是对 opencore的omx-component部分做了引用。stagefright是和opencore是并列的。Stagefright在 Android中是以shared library的形式存在(libstagefright.so),其中的module – AwesomePlayer可用来播放video/audio。 AwesomePlayer提供许多API,可以让上层的应用程序(Java/JNI)来调用。

先看下源头,从mediaplayerservice到Stagefright:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_03

接着进入MediaPlayerFactory中的createPlayer方法中:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_04

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_05

StagefrightPlayer及AwesomePlayer初识

开始进入StagefrightPlayer的构造函数

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_06

StageFrightPlayer中引用了AwesomePlayer,进而进行相关操作, 
从上面代码可以看出,接着分析下StagefrightPlayer,如下代码:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_07

StagefrightPlayer继承了MediaPlayerInterface接口, 
同样以setDataSource为例,通常我们负责的模块或调用别人的模块时,在模块和模块之间,相关于一个黑盒一样。里面什么流程我们并不清楚,call后,返回对应的状态或数据,仅此而已。 
AwesomePlayer,就像是StagefrightPlayer中一个小盒子一样。 
当mediaplayerservice中setDataSource传下来之后,进入如下方法:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_08

以上代码总结为:所以执行步骤都会调用 mPlayer->setDataSource(xxxx),而在前面的分析,我们知道,这个mPlayer是被定义成AwesomePlayer,因为文件的setDataSoure及uri方式的setData仅在实现有些区别,接着向下看:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_09

以上代码总结为:当setDataSource好后,返回上层OK状态,

再看下文件类型的setDataSource,如下:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_10

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_11
Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_12

以上代码总结为:匹配不同的文件类型,并用数据解析器处理,Mime表示该资源的媒体类型,当出现以右边格式出现的时候,就能被播放器识别,如经常手机中文件,单击时,就会弹出一个用哪个软件打开一样。列举一些常用的Mime类型的资源,如下:

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_13

MediaExtractor数据解析流程

接着,我们看下上面一直在用的MediaExtractor(数据解析器)

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_14
Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_15

以上代码总结:

  • 根据对文件解析的不同格式创建一个Extractor解析器,并解析,创建好解析器后,回到AwesomePlayer::setDataSource_l()中,继续执行setDataSource_l(extractor),对新建的这个解析器做处理,其实质是显示音视频A/V的分离。

  • setVideoSource(extractor->getTrack(i));//设置视频源mVideoTrack ;

  • setAudioSource(extractor->getTrack(i));//设置音频源mAudioTrack;

  • mVideoTrack和mAudioTrack的做为创建的AwesomePlay的成员函数,其类型为MPEG4Source,继承了MediaSource。

Android Multimedia框架总结(八)Stagefright框架之AwesomePlay_JAVA_16

以上过程就进行了A\V的分离,对音频和视频资源进行分开处理,其过程是mediaplayerservice->Stagefrightplayer—>Awesomeplayer——>MPEG4Extractor——>MPEG4Source.这几个过程。StageFright的Parse,Decode过程下节分析https://mp.weixin.qq.com/s/NlxNURmkqVepwXdhpp3YbA