前面已经介绍了FFmpeg解码视频的具体流程,现在使用FFmpeg解码视频然后用Opengles来渲染。

注:这里只是简单的实现一下,代码写的比较粗糙,不喜勿喷!

实现思路:

1.首先通过JNI将视频地址传给C层;
2.使用FFmpeg解码视频获取到YUV数据;
3.将YUV数据通过回调的方式传到java层;
4.使用Opengles渲染yuv数据;
对于第2步,解码要使用子线程,将YUV数据传给java层也使用一个线程,所以还要使用到一个队列。

好了,开始撸代码。。。

一、配置环境,编译FFmpeg

编译FFmpeg这里就不介绍了
配置NDk环境,首先创建一个AS项目,注意勾选C++库。项目构建完成后,需要下载CMake和NDK,下载NDK建议去官网下载
然后就是CMakeLists.txt,如下:

cmake_minimum_required(VERSION 3.4.1)
    
    #添加依赖库的头文件目录
    include_directories(src/main/cpp/include)

    add_library( #库名
             native-lib
             #库类型
             SHARED
             src/main/cpp/native-lib.cpp)

    #添加动态库
    add_library( avcodec-57
             SHARED
             IMPORTED)
    #设置库路径,和前面对应
    set_target_properties( avcodec-57
                       PROPERTIES IMPORTED_LOCATION
                     ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libavcodec-57.so)
		....
	target_link_libraries( # 连接库
                       native-lib
                       avcodec-57
                       avdevice-57
                       avfilter-6
                       avformat-57
                       avutil-55
                       swresample-2
                       swscale-4
                       postproc-54
                       OpenSLES
                       android
                       log
                        )

二、定义native方法 和 解码数据回调方法

public native void init(String url);
    public native void start();

然后使用alt+回车自动生成.h头文件

回调方法:

Android调用硬解 android ffmpeg 硬解码_ffmpeg

三、开始写C代码

1.首先是初始化参数、线程、锁对象和条件对像等

Android调用硬解 android ffmpeg 硬解码_数据_02


Android调用硬解 android ffmpeg 硬解码_Android调用硬解_03

2.视频解码

void* p_decode(void* data){
    //1.注册所有组件
    av_register_all();

    //封装格式上下文,统领全局的结构体,保存了视频文件封装格式的相关信息
    AVFormatContext *pFormatCtx = avformat_alloc_context();

    //2.打开输入视频文件
    if (avformat_open_input(&pFormatCtx, url, NULL, NULL) != 0) {
        LOGD("%s","无法打开输入视频文件");
        return 0;
    }

    //3.获取视频文件信息
    if (avformat_find_stream_info(pFormatCtx,NULL) < 0) {
        LOGD("%s","无法获取视频文件信息");
        return 0;
    }

    //获取视频流的索引位置
    //遍历所有类型的流(音频流、视频流、字幕流),找到视频流
    int v_stream_idx = -1;
    int i = 0;
    //number of streams
    for (; i < pFormatCtx->nb_streams; i++) {
        //流的类型
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            v_stream_idx = i;
            break;
        }
    }

    if (v_stream_idx == -1) {
        LOGD("%s","找不到视频流\n");
        return 0;
    }
    //只有知道视频的编码方式,才能够根据编码方式去找到解码器
    //获取视频流中的编解码上下文
    AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;
    //4.根据编解码上下文中的编码id查找对应的解码
    AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if (pCodec == NULL) {
        LOGD("%s","找不到解码器\n");
        return 0;
    }
    //5.打开解码器
    if (avcodec_open2(pCodecCtx,pCodec,NULL)<0) {
        LOGD("%s","解码器无法打开\n");
        return 0;
    }
    //准备读取
    //AVPacket用于存储一帧一帧的压缩数据(H264)
    //缓冲区,开辟空间
    AVPacket *packet = (AVPacket*)av_malloc(sizeof(AVPacket));

    //AVFrame用于存储解码后的像素数据(YUV)
    //内存分配
    //    AVFrame *pFrame = av_frame_alloc();
    //YUV420
    AVFrame *pFrameYUV = av_frame_alloc();
    //只有指定了AVFrame的像素格式、画面大小才能真正分配内存
    //缓冲区分配内存
    uint8_t *out_buffer = (uint8_t *)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));
    //初始化缓冲区
    avpicture_fill((AVPicture *)pFrameYUV, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);

    //用于转码(缩放)的参数,转之前的宽高,转之后的宽高,格式等
    struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width,pCodecCtx->height,pCodecCtx->pix_fmt,
                                                pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P,
                                                SWS_BICUBIC, NULL, NULL, NULL);
    int got_picture, ret;

    int frame_count = 0;

    //6.一帧一帧的读取压缩数据
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        //只要视频压缩数据(根据流的索引位置判断)
        if (packet->stream_index == v_stream_idx) {
            pthread_mutex_lock(&pthread_mutex);
            //7.解码一帧视频压缩数据,得到视频像素数据
            AVFrame *pFrame = av_frame_alloc();
            ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
            if (ret < 0) {
                LOGD("%s","解码错误");
                return 0;
            }
            //为0说明解码完成,非0正在解码
            if (got_picture) {
                //AVFrame转为像素格式YUV420,宽高
                //2 6输入、输出数据
                //3 7输入、输出画面一行的数据的大小 AVFrame 转换是一行一行转换的
                //4 输入数据第一列要转码的位置 从0开始
                //5 输入画面的高度
                sws_scale(sws_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
                          pFrameYUV->data, pFrameYUV->linesize);

                //将YUV数据回调给java层
                //data解码后的图像像素数据(音频采样数据)
                //Y 亮度 UV 色度(压缩了) 人对亮度更加敏感
                //U V 个数是Y的1/4
                int width = pFrame -> width;
                int height = pFrame -> height;

                queue.push(pFrame);

                pthread_cond_signal(&pthread_cond);

                frame_count++;
                LOGD("解码第%d帧\n",frame_count);
            }
            pthread_mutex_unlock(&pthread_mutex);
        }
        //释放资源
        av_free_packet(packet);
    }
    avcodec_close(pCodecCtx);

    avformat_close_input(&pFormatCtx);
    avformat_free_context(pFormatCtx);
    flag = false;
    pthread_exit(&decode_pthread);
	}

3.YUV数据回调

void* jCallback(void* data){
    while (flag){
        pthread_mutex_lock(&pthread_mutex);
        if (queue.size()>0){
            //回调java层
            AVFrame* pFrame = queue.front();
            JNIEnv *env;
            jvm->AttachCurrentThread(&env, 0);
            int width = pFrame->width;
            int height = pFrame->height;
            jbyteArray y = env->NewByteArray(width * height);
            env->SetByteArrayRegion(y, 0, width * height, (jbyte*)pFrame->data[0]);
            jbyteArray u = env->NewByteArray(width * height / 4);
            env->SetByteArrayRegion(u, 0, width * height / 4, (jbyte*)pFrame->data[1]);
            jbyteArray v = env->NewByteArray(width * height / 4);
            env->SetByteArrayRegion(v, 0, width * height / 4, (jbyte*)pFrame->data[2]);
            env->CallVoidMethod(jobj, jmid_dec_callback, width, height, y, u, v);
            env->DeleteLocalRef(y);
            env->DeleteLocalRef(u);
            env->DeleteLocalRef(v);
            jvm->DetachCurrentThread();
            queue.pop();
            LOGD("nnnnnnnnnnnnnnnn");
            av_frame_free(&pFrame);
        } else {
            pthread_cond_wait(&pthread_cond,&pthread_mutex);
        }
        pthread_mutex_unlock(&pthread_mutex);
    }
    pthread_exit(&pthread);
	}

这里要注意的是,子线程回调需要用到JavaVM。我们需要实现JNI_OnLoad方法,来保存jvm

JNIEXPORT jint JNICALL JNI_OnLoad(JavaVM* vm,void* reserved){
    JNIEnv *env;
    jvm = vm;
    if(vm->GetEnv((void**)&env,JNI_VERSION_1_6)!=JNI_OK){
        return -1;
    }
    return JNI_VERSION_1_6;
    }

还有就是C调用java方法的方法:

env->CallVoidMethod(jobj, jmid_dec_callback, width, height, y, u, v);

注意:

1.这里是子线程回调,所以使用JNIEnv应该是子线程的

JNIEnv *env;
        jvm->AttachCurrentThread(&env, 0);

2.callVoidMethod的第二个参数是methodId获取方法如下:

jmid_dec_callback = env->GetMethodID(jlz, "decCallBack", "(II[B[B[B)V");

调用JNIEnv的GetMethodID方法,第一个参数是jclass,第二个参数是java方法名,第三个参数是方法的签名"(II[B[B[B)"是参数的签名,"V"是返回值的签名。

到这里解码部分基本上已经完成