前言:前面一篇分析了mediaplayerservice及MediaPlayer中的CS模型,但是对于如何能把数据解析出来,渲染到最终的SurfaceView上显示,并且播放起来,我们依然还不得而知,从今天开始,就开始介绍多媒体框架中数据解析->解码->渲染输出过程,也就是后面几篇都要介绍的stagefright框架。
先看下今天的Agenda:
-
Stagefright的整体结构中角色
-
Stagefright在playback中角色
-
Stagefright初识
-
StagefrightPlayer及AwesomePlayer初识
-
MediaExtractor数据解析流程
Stagefright的整体结构中角色
Stagefright在playback中角色
Stagefright初识
前面一篇中,分析到mediaplayerservice会调到Stagefright中,进行编码解码操作
在libsstagefright中,预设的多媒体解码是openCore,由于其过于庞大和复杂,需要成本较高,开始引进了另一个框架,也就是stagefright框架,以后默认情况android选择stagefright,但是并没有完全抛弃opencore,做了一个OMX层,仅仅是对 opencore的omx-component部分做了引用。stagefright是和opencore是并列的。Stagefright在 Android中是以shared library的形式存在(libstagefright.so),其中的module – AwesomePlayer可用来播放video/audio。 AwesomePlayer提供许多API,可以让上层的应用程序(Java/JNI)来调用。
先看下源头,从mediaplayerservice到Stagefright:
接着进入MediaPlayerFactory中的createPlayer方法中:
StagefrightPlayer及AwesomePlayer初识
开始进入StagefrightPlayer的构造函数
StageFrightPlayer中引用了AwesomePlayer,进而进行相关操作,
从上面代码可以看出,接着分析下StagefrightPlayer,如下代码:
StagefrightPlayer继承了MediaPlayerInterface接口,
同样以setDataSource为例,通常我们负责的模块或调用别人的模块时,在模块和模块之间,相关于一个黑盒一样。里面什么流程我们并不清楚,call后,返回对应的状态或数据,仅此而已。
AwesomePlayer,就像是StagefrightPlayer中一个小盒子一样。
当mediaplayerservice中setDataSource传下来之后,进入如下方法:
以上代码总结为:所以执行步骤都会调用 mPlayer->setDataSource(xxxx),而在前面的分析,我们知道,这个mPlayer是被定义成AwesomePlayer,因为文件的setDataSoure及uri方式的setData仅在实现有些区别,接着向下看:
以上代码总结为:当setDataSource好后,返回上层OK状态,
再看下文件类型的setDataSource,如下:
以上代码总结为:匹配不同的文件类型,并用数据解析器处理,Mime表示该资源的媒体类型,当出现以右边格式出现的时候,就能被播放器识别,如经常手机中文件,单击时,就会弹出一个用哪个软件打开一样。列举一些常用的Mime类型的资源,如下:
MediaExtractor数据解析流程
接着,我们看下上面一直在用的MediaExtractor(数据解析器)
以上代码总结:
-
根据对文件解析的不同格式创建一个Extractor解析器,并解析,创建好解析器后,回到AwesomePlayer::setDataSource_l()中,继续执行setDataSource_l(extractor),对新建的这个解析器做处理,其实质是显示音视频A/V的分离。
-
setVideoSource(extractor->getTrack(i));//设置视频源mVideoTrack ;
-
setAudioSource(extractor->getTrack(i));//设置音频源mAudioTrack;
-
mVideoTrack和mAudioTrack的做为创建的AwesomePlay的成员函数,其类型为MPEG4Source,继承了MediaSource。
以上过程就进行了A\V的分离,对音频和视频资源进行分开处理,其过程是mediaplayerservice->Stagefrightplayer—>Awesomeplayer——>MPEG4Extractor——>MPEG4Source.这几个过程。StageFright的Parse,Decode过程下节分析https://mp.weixin.qq.com/s/NlxNURmkqVepwXdhpp3YbA