-1、先吹下水,装下*

距离上一个主题有一段时间了,最近都在忙工作,因为需要在Android上写C++,所以就复习了一些NDK的知识。打算之后也会整理并写下这一块的博客,把一些复杂的code记录在案方便学习(其中包括webrtc,简单的ffmpeg,AAC,H264都会涉及介绍)正所谓好记性不如烂笔头嘛。。。言归正传,OpenGL.ES在Android上的简单实践专栏,经历过两个课题项目之后,我相信大家已经有一定的基础,有朋友已经不满足这些基础知识了,最近提出要来干货猛料了!所以这里拟定下一个主题吧,就是时下最火的 短视频!顺带一些滤镜效果?顺带视频的录制?方便的话使用硬件编解码?反正就是结合手机摄像头开发项目了,希望自己能成功做好吧。曾经某位牛人如是说道:“不强迫一下自己,怎么知道自己有这么犀利呢?”

好了,逼差不多也该装完了,既然定了下个项目的课题,这里就来分析一下重点和难点,顺带引出这次文章的内容。短视频+滤镜,我们需要什么?

1、打开摄像头,并能实时的渲染,并呈现出现用户的视图界面上。

2、增加滤镜,各种滤镜效果切换并不影响渲染的输出。

3、最后滤镜和视频的合成要高效,低耗。最好还能转成成熟的编码(h264/h265)方式方便传输。

以上分析后,大家看见“编码”“渲染视频”可能会立马想到ffmpeg等成熟的视频库。但,这里真的是需要使用ffmpeg吗?滤镜是通过shader着色器,最后经过OpenGL渲染出来的!所以我们还是要在Android的OpenGL.ES写Code啊~ 那么Android的OpenGL.ES是怎么做到实时的摄像头预览?还有各种滤镜效果的切换? 在深入这些问题之前,我们不妨花点时间来搞懂Android的OpenGL.ES,接下来要详细介绍的 EGL!

 

 

0、认清Android的一些概念

在开始之前,我想大家先搞清Android平台上的一些概念。以下三个大问题,如果看官确切自己很清楚的搞懂明白,那就调整这部分吧。

第一个比较简单:Android中的Activity、Window、View之间的关系。

第二个稍微复杂:GLSurfaceView, SurfaceView, TextureView三者的区别,SurfaceTexture, Surface两者的区别。

第三个是最玄学:第一个问题 和 第二个问题之间的对象,有啥关联?

我这里就写出大白话,不清楚的详细请参阅超连接(超链接都是深读好文)

1、Activity包含着PhoneWindow(1:1),然后PhoneWindow再包含着DecorView(1:1),DecorView包裹着ViewGroup附着我们setContentview上的所有子view(1:N)

2、SurfaceView是一个穿了个洞到Window的View,GLSurfaceview=OpenGL+SurfaceView,TextureView把SurfaceView的洞补上了,不再直穿到PhoneWindow,而是用OpenGL纹理的概念,把内容流直接投影到View。

2.2、Surface就是那个洞,SurfaceTexture就是那个OpenGL概念纹理的对象。

3、经过1~2的介绍之后,有什么关联,我想大家已经有个概念了。在SurfaceView、GLSurfaceview上,我们实际是用Surface来渲染画面;在TextureView上,我们是用SurfaceTexture。

 

1、认识EGL

所以什么是EGL呢?其实在第一篇文章:OpenGL.ES在Android上的简单实践:1-曲棍球,我们就接触过其概念(注意下部分的灰色字体段落)我们现在再来认真看看OpenGL团队的官方介绍:

EGL™ is an interface between Khronos rendering APIs such as OpenGL ES or OpenVG and the underlying native platform window system. It handles graphics context management, surface/buffer binding, and rendering synchronization and enables high-performance, accelerated, mixed-mode 2D and 3D rendering using other Khronos APIs. EGL also provides interop capability between Khronos to enable efficient transfer of data between APIs – for example between a video subsystem running OpenMAX AL and a GPU running OpenGL ES.

下划线是重点,翻译出来意思就是:EGL是KHONOS公司的渲染API(如OpenGL ES或OpenVG)与底层窗口系统之间的通信接口。它处理图形上下文管理、设备显示/缓冲器绑定和渲染同步,并使用其他KHRONOS API实现高性能、加速、混合模式的2D和3D渲染。还记得之前介绍的OpenGL.ES的跨平台?结合这里通俗一点讲就是:在各种窗口系统上,只要符合定义的标准,并实现其运行所需要的环境EGL,我们就能愉快的使用渲染API了!

那么问题又来了,为什么我们之前没有什么创建EGL的步骤? 还记得第一篇文章介绍基本环境的时候,调用GLSurfaceView.setEGLContextClientVersion(2)设置运行版本为2。其实Android已经帮我们把EGL的环境准备好,并封装在GLSurfaceView内部了,可以这么理解GLSurfaceView = SurfaceView + EGL + GL渲染线程。接下来带大家一并通读一下GLSurfaceView的源代码,如果希望能查阅详尽的源代码,可以参照这位作者前部分的代码分析,至于后部分的工具提取就不敢恭维了,博主自己都说有问题,往后我也会提供一个更完善更科学的工具类。废话不多说,上GLSurfaceView的主要构成代码

GLSurfaceView主要构成 extends SurfaceView (主要提供渲染Surface)
{
    //调试用的
    public void setDebugFlags(int debugFlags);
    public int getDebugFlags();

    //设置暂停的时候是否保持EglContext
    public void setPreserveEGLContextOnPause(boolean preserveOnPause);
    public boolean getPreserveEGLContextOnPause();

    //设置渲染器,这个非常重要,渲染工作就依靠渲染器了
    //调用此方法会开启一个新的线程,即GL线程
    public void setRenderer(Renderer renderer) {
        checkRenderThreadState();
        if (mEGLConfigChooser == null) {
            mEGLConfigChooser = new SimpleEGLConfigChooser(true);
        }
        if (mEGLContextFactory == null) {
            mEGLContextFactory = new DefaultContextFactory();
        }
        if (mEGLWindowSurfaceFactory == null) {
            mEGLWindowSurfaceFactory = new DefaultWindowSurfaceFactory();
        }
        mRenderer = renderer;
        mGLThread = new GLThread(mThisWeakRef);
        mGLThread.start();
    }

    //设置EGLContext工厂,不设置就用默认的
    public void setEGLContextFactory(EGLContextFactory factory);

    //设置EGLSurface工厂,不设置就用默认的
    public void setEGLWindowSurfaceFactory(EGLWindowSurfaceFactory factory);

    //设置EglConfig,一般颜色深度等等,利用此方法设置。不设置就用默认的
    public void setEGLConfigChooser(EGLConfigChooser configChooser);

    //内部调用setEGLConfigChooser
    public void setEGLConfigChooser(boolean needDepth);

    //内部调用setEGLConfigChooser
    public void setEGLConfigChooser(int redSize, int greenSize, int blueSize,
            int alphaSize, int depthSize, int stencilSize);

    //设置EGLContextVersion,比如2,即OpenGLES2.0
    public void setEGLContextClientVersion(int version);

    //设置渲染方式,有RENDERMODE_CONTINUOUSLY表示不断渲染
    //以及RENDERMODE_WHEN_DIRTY表示在需要的时候才会渲染
    public final static int RENDERMODE_WHEN_DIRTY = 0;
    public final static int RENDERMODE_CONTINUOUSLY = 1;
    //渲染的时候要求调用requestRender,必须在setRenderer后调用
    public void setRenderMode(int renderMode);
    public int getRenderMode();
    public void requestRender();

    public void surfaceCreated(SurfaceHolder holder);
    public void surfaceDestroyed(SurfaceHolder holder);
    public void surfaceChanged(SurfaceHolder holder, int format, int w, int h);

    @Override
    public void surfaceRedrawNeeded(SurfaceHolder holder) {
        if (mGLThread != null) {
            mGLThread.requestRenderAndWait();
        }
    }

    //生命周期,一般在Activity、Fragment的onPause中调用
    public void onPause();
    //生命周期,一般在Activity、Fragment的onResume中调用
    public void onResume();
    //向GL线程发送一个任务
    public void queueEvent(Runnable r);
    //附加到Window上时被调用,外部不可调用
    protected void onAttachedToWindow();
    //从Window上被移除时调用,外部不可调用
    protected void onDetachedFromWindow();

    //渲染器接口
    public interface Renderer {
        //Surface被创建时被调用,通常在此进行渲染的初始化
        void onSurfaceCreated(GL10 gl, EGLConfig config);
        //Surface大小被改变时被调用
        void onSurfaceChanged(GL10 gl, int width, int height);
        //执行渲染时被调用,以完成用户渲染工作
        void onDrawFrame(GL10 gl);
    }


    //非常重要的一个EGL帮助类,GL环境的建立依靠此类
    private static class EglHelper {
        public EglHelper(WeakReference<GLSurfaceView> glSurfaceViewWeakRef) {
            mGLSurfaceViewWeakRef = glSurfaceViewWeakRef;
        }
        private WeakReference<GLEnvironment> mGLSurfaceViewWeakRef;
        EGL10 mEgl; // EGL 对象
        EGLDisplay mEglDisplay;// 实际显示物理设备的抽象。
        EGLSurface mEglSurface;// 显示设备用来存储图像的内存区域 抽象
        EGLConfig mEglConfig;  // EGL配置 抽象
        EGLContext mEglContext;// EGL-GL绘制API 管理上下文

        public void start() //主要创建Egl,EglDisplay,EglContext,还有EglConfig
        public boolean createSurface()//创建EglSurface
        GL createGL() //通过EGL得到GL,然后用户设置了Wrapper的话会给得到的GL做个包装
        //同时也会解析一下用户的Debug意图,看看要不要debug
        public int swap(); //gl双缓冲机制接口,每一次swap,显示缓冲区 和 显示缓冲区就会互换
        public void destroySurface();//销毁Surface的方法,具体实现在destroySurfaceImp方法中
        private void destroySurfaceImp()//使用GLEnvironment的EGLWindowSurfaceFactory进行销毁
        public void finish();//销毁GL环境
    }


    //GL线程,此类中存在的方法,GLSurfaceView中有同名的,
    //基本都是提供给GLSurfaceView作为真正的实现调用
    static class GLThread extends Thread {
        //销毁EglSurface
        private void stopEglSurfaceLocked();
        //销毁EglContext
        private void stopEglContextLocked();

        //GL线程的主要逻辑都在这个方法里面,这个方法比较复杂
        //GLSurfaceView的核心就在这个里面了,最后在单独分析这个里面的逻辑
        private void guardedRun() throws InterruptedException;

        public boolean ableToDraw() {
            return mHaveEglContext && mHaveEglSurface && readyToDraw();
        }
        private boolean readyToDraw() {
            return (!mPaused) && mHasSurface && (!mSurfaceIsBad)
                && (mWidth > 0) && (mHeight > 0)
                && (mRequestRender || (mRenderMode == RENDERMODE_CONTINUOUSLY));
        }

       //GLSurfaceView对应实际方法
       public void setRenderMode(int renderMode);
       public int getRenderMode();
       public void requestRender();
       public void surfaceCreated();
       public void surfaceDestroyed();
       public void onPause();
       public void onResume();
       //请求一次渲染,并等待渲染完成
       public void requestRenderAndWait();
       //Surface的大小被改变时调用
       public void onWindowResize(int w, int h);
       //请求退出渲染线程,并等待退出
       public void requestExitAndWait();
       //请求是否EglContext
       public void requestReleaseEglContextLocked();
       //向GL线程发送一个任务
       public void queueEvent(Runnable r);
    }

    //debug使用的
    static class LogWriter extends Writer { 。。。}

    //很多方法都会调用此方法,会检查mGLThread不为null
    //即保证调用此方法的方法,必须在setRenderer之前调用
    private void checkRenderThreadState();

    //主要就是用来做同步用的,利用Object的wait和notifyAll
    private static class GLThreadManager {。。。}

}//End GLSurfaceView基本结构如上

看完这串结构注释,肯定是还不太能理解究竟是怎么回事?!大家可以使用编译器打开GLSurfaceview,跟着注释分析。

1、首先,我们要记住几个关键的组成部分:GLThread,EglHelper,和提供渲染介质的SurfaceView。辅助类GLThreadManager。主要就是用来渲染线程和SurfaceView做同步用的。
2、然后我们再从使用步骤入手,我们得到一个GLSurfaceview对象后,最紧要的步骤是什么?就是setRenderer。我们看看setRenderer做了什么?构建EGLConfigChooser,DefaultContextFactory,DefaultWindowSurfaceFactory。从名字我们就知道了都是为了创建EGL相关的东西做前期的准备。并启动了GL的渲染线程GLThread。
3、继续下去,GLThread的run中的关键 guardedRun(); 由于篇幅的关系,就不把guardedRun的代码贴上来了,大家可以开着源码进入这个方法跟着一起分析。进入guardedRun第一件事就是new EglHelper,初始各种标志位,然后进入while(true)渲染死循环中,所以我们的setRenderer方法只能调用一次就是这个原因了;然后经过一轮的同步标志位判断后,正戏终于要到->mEglHelper.start();
4、终于涉及EGL的部分了,mEglHelper.start();的代码不多,我们这里贴上:

public void start() {
            // Pre1、说是EGLImpl,其实就是硬件设备相关的jni接口
            mEgl = (EGL10) EGLContext.getEGL();  // new com.google.android.gles_jni.EGLImpl()
            // 1、获取EGLDisplay对象
            mEglDisplay = mEgl.eglGetDisplay(EGL10.EGL_DEFAULT_DISPLAY);
            if (mEglDisplay == EGL10.EGL_NO_DISPLAY) {
                throw new RuntimeException("eglGetDisplay failed");
            }
            // 2、初始化与EGLDisplay 之间的连接。
            int[] version = new int[2];
            if(!mEgl.eglInitialize(mEglDisplay, version)) {
                throw new RuntimeException("eglInitialize failed");
            }
            GLSurfaceView view = mGLSurfaceViewWeakRef.get();
            if (view == null) {
                mEglConfig = null;
                mEglContext = null;
            } else {
                // 3、获取EGLConfig对象
                mEglConfig = view.mEGLConfigChooser.chooseConfig(mEgl, mEglDisplay);
                // 4、创建EGLContext 实例
                mEglContext = view.mEGLContextFactory.createContext(mEgl, mEglDisplay, mEglConfig);
            }
            if (mEglContext == null || mEglContext == EGL10.EGL_NO_CONTEXT) {
                mEglContext = null;
                throwEglException("createContext");
            }
            // Pre5、等候EGLSurface实例的创建
            mEglSurface = null;
        }

注意注释的顺序步骤,在sGLThreadManager的同步下,我们完成了mEglHelper.start(); 经过start后,我们已经初步建立了EGL,但是这个EGL还没能正常的工作,为啥子呢?因为它还不知道要与那个渲染面绑定工作啊!(注释Pre5步骤)我们回到guardedRun(); 结束了EGL.start之后,我们继续往下不难发现createEglSurface的标志部分代码,其中里面就是调用mEglHelper.createSurface()!!!我们赶紧看看。
5、代码不多,贴上源码和注释,注意跟上EglHelper.start的顺序

public boolean createSurface() {
            if (mEgl == null) {
                // in start Pre1
                throw new RuntimeException("egl not initialized");
            }
            if (mEglDisplay == null) {
                // in start 1 2
                throw new RuntimeException("eglDisplay not initialized");
            }
            if (mEglConfig == null) {
                // in start 3
                throw new RuntimeException("mEglConfig not initialized");
            }
            // 如果渲染界面大小发生变化,我们也必须要重新创建一个新的EGLSurface,
            // 所以不管什么情况,都先尝试销毁之前的EGLSurface,保证其唯一性
            destroySurfaceImp();

            GLSurfaceView view = mGLSurfaceViewWeakRef.get();
            if (view != null) {
                // 5、EGLSurface实例的创建
                mEglSurface = view.mEGLWindowSurfaceFactory.createWindowSurface(mEgl,
                        mEglDisplay, mEglConfig, view.getHolder());
            } else {
                mEglSurface = null;
            }
            // 检查 EGLSurface是否创建成功
            if (mEglSurface == null || mEglSurface == EGL10.EGL_NO_SURFACE) {
                int error = mEgl.eglGetError();
                if (error == EGL10.EGL_BAD_NATIVE_WINDOW) {
                    Log.e("EglHelper", "createWindowSurface returned EGL_BAD_NATIVE_WINDOW.");
                }
                return false;
            }

            // 把EGLContext和EGLSurface连接起来. 
            // EGLContext在start的时候已经和EGLDisplay、EGL绑定了,所以这里EGLContext把EGL EGLSurface绑定在一起
            if (!mEgl.eglMakeCurrent(mEglDisplay, mEglSurface, mEglSurface, mEglContext)) {
                logEglErrorAsWarning("EGLHelper", "eglMakeCurrent", mEgl.eglGetError());
                return false;
            }

            return true;
        }

在这里我们可以看到步骤Pre5的后续操作,EGLSurface是靠EGLWindowSurfaceFactory.createWindowSurface创建出来的,而EGLWindowSurfaceFactory是在setRenderer的时候new出来的,所以我们要是想自定义渲染面,就可以从这一步入手。
6、我们继续回到guardedRun,经过createEglSurface的操作后,创建GL的包装对象用于回调的回传,然后开始的按条件陆续回调renderer的三大接口onSurfaceCreated/onSurfaceChanged/onDrawFrame,注意每次onDrawFrame后,EglHelper都会swap()切换渲染面和显示面。 就这样,guardedRun的渲染循环基本分析完毕。
7、在guardedRun跳出渲染循环之后,我们在trycatch的finally部分可以看到,就是销毁EGLSurface、EGLContext和断开EGLDisplay的关联。

 

 

请允许我为以上内容做一下下总结:
          EGLDisplay :(是对实际显示设备的抽象)
          EGLSurface :(是对用来存储图像的内存区域的抽象,包括Color Buffer, Stencil Buffer ,Depth Buffer)
          EGLContext :(存储OpenGL.ES绘图的一些状态信息。管理上述两者关联的状态)

创建EGL过程,开始正常绘图的流程步骤:
          1、获取EGLDisplay对象
          2、初始化与EGLDisplay之间的关联。
          3、获取EGLConfig对象
          4、创建EGLContext 实例
          5、创建EGLSurface实例
          6、连接EGLContext和EGLSurface.
(以上封装在GLSurfaceview,对使用者透明)
          7、使用GL指令绘制图形         <—— renderer三大回调 渲染死循环。
(以下也是在GLSurfaceview,对使用者透明)
          8、断开并释放与EGLSurface关联的EGLContext对象
          9、删除EGLSurface对象
          10、删除EGLContext对象
          11、终止与EGLDisplay之间的连接。

 

 

The End .