安卓调用GPU 安卓调用ffmpeg

  

由于最近要做一个音频视频合成的东东，经过各方面的资料查找，开始锁定javaCV,想用它搞定音视频合成的问题。可后来用javacv出现了很多问题，发邮件给javacv的作者，也没有得到很好的答案，后来逼于无奈只好移植ffmepg到andorid，在android上使用ffmpeg合成音视频的问题了，ffmpeg真的很强大，无所不能。不多说了， 下面直接介绍整个过程。

感谢如下提供资料：

大纲如下：

一，环境配置

二，编译库，也就是移植ffmepg到android。

三，改编ffmpeg接口，供jni调用

四，测试例子

一 ，环境配置

 所需工具

    1，ndk-r8d

    2，ubuntu 12.04  32位(我是用虚拟机的)

    3，ffmpeg -1.2.4 (ffmpeg的版本最好与ndk对应，我试过很多版本，目前只有ndk-r8d和ffmpeg1.2.4能使)

    4 ，jdk6

    5，android sdk 

   6，eclipse

注：配置好ndk，网上有很多配置ndk的文章，可以搜索，这里就不多说了;

二，编译库，也就是移植ffmepg到android

  1，首先在你的工程目录下建立一个jni文件夹，然后把ffmpeg-1.2.4解压到jni目录下，然后把ffmpeg-1.2.4文件夹重命名为ffmpeg

如图

   

2，再者在jni目录下建一个Android.mk文件，内容如下：

1. include $(all-subdir-makefiles)   //这句话的意思是包含该目录下的所有mk文件

3，然后在jni/ffmpeg下建立Android.mk和av.mk文件，内容如下

Android.mk

1.  LOCAL_PATH := $(call my-dir)  
2. include $(CLEAR_VARS) //清楚所有全局变量的值 除了LOCAL_PATH  
3.  PATH_TO_FFMPEG_SOURCE:=$(LOCAL_PATH)/ffmpeg  
4. LOCAL_C_INCLUDES += $(PATH_TO_FFMPEG_SOURCE)   
5.  LOCAL_WHOLE_STATIC_LIBRARIES := libavformat libavcodec libavfilter libavutil libpostproc libswscale libswresample  
6. //生成so库的名称 lib  
7. include $(BUILD_SHARED_LIBRARY)  
8. include $(call all-makefiles-under,$(LOCAL_PATH))

av.mk

1. # LOCAL_PATH is one of libavutil, libavcodec, libavformat, or libswscale  
2. #include $(LOCAL_PATH)/../config-$(TARGET_ARCH).mak  
3.         
4. include $(LOCAL_PATH)/../config.mak  
5.  OBJS :=  
6.  OBJS-yes :=  
7.  MMX-OBJS-yes :=  
8. include $(LOCAL_PATH)/Makefile  
9. # collect objects  
10.  OBJS-$(HAVE_MMX) += $(MMX-OBJS-yes)   
11.  OBJS += $(OBJS-yes)  
12.  FFNAME := lib$(NAME)  
13. foreach,NAME,$(FFLIBS),lib$(NAME))  
14. switch -Wno-pointer-sign  
15. "config-$(TARGET_ARCH).h\"  
16.  ALL_S_FILES := $(wildcard $(LOCAL_PATH)/$(TARGET_ARCH)/*.S)   
17.  ALL_S_FILES := $(addprefix $(TARGET_ARCH)/, $(notdir $(ALL_S_FILES)))  
18. ifneq ($(ALL_S_FILES),)  
19.  ALL_S_OBJS := $(patsubst %.S,%.o,$(ALL_S_FILES))  
20. out $(ALL_S_OBJS),$(OBJS))  
21.  S_OBJS := $(filter $(ALL_S_OBJS),$(OBJS))    
22. else    
23.  C_OBJS := $(OBJS)  
24.  S_OBJS :=   
25. endif  
26.  C_FILES := $(patsubst %.o,%.c,$(C_OBJS))  
27.  S_FILES := $(patsubst %.o,%.S,$(S_OBJS))  
28.  FFFILES := $(sort $(S_FILES)) $(sort $(C_FILES))

4，同样在jni/ffmpeg目录下建立文件，内容如下：

1. #!/bin/bash  
2.   
3. PREBUILT=/home/yy/java/ndk8/android-ndk-r8d/toolchains/arm-linux-androideabi-4.4.3/prebuilt/linux-x86  
4. PLATFORM=/home/yy/java/ndk8/android-ndk-r8d/platforms/android-14/arch-arm  
5.   
6. ./configure --target-os=linux \  
7. --arch=arm \  
8. --enable-version3 \  
9. --enable-gpl \  
10. --enable-nonfree \  
11. --enable-shared \  
12. --enable-stripping \  
13. --enable-ffmpeg \  
14. --disable-ffplay \  
15. --disable-ffserver \  
16. --disable-ffprobe \  
17. --enable-decoders \  
18. --disable-symver \  
19. --enable-encoders \  
20. --enable-muxers \  
21. --disable-devices \  
22. --enable-protocols \  
23. --enable-protocol=file \  
24. --enable-avfilter \  
25. --enable-network \  
26. --disable-avdevice \  
27. --disable-asm \  
28. --enable-cross-compile \  
29. --cc=$PREBUILT/bin/arm-linux-androideabi-gcc \  
30. --cross-prefix=$PREBUILT/bin/arm-linux-androideabi- \  
31. --strip=$PREBUILT/bin/arm-linux-androideabi-strip \  
32. --extra-cflags="-fPIC -DANDROID" \  
33. --extra-ldflags="-Wl,-T,$PREBUILT/arm-linux-androideabi/lib/ldscripts/armelf_linux_eabi.x -Wl,-rpath-link=$PLATFORM/usr/lib -L$PLATFORM/usr/lib -nostdlib $PREBUILT/lib/gcc/arm-linux-androideabi/4.4.3/crtbegin.o $PREBUILT/lib/gcc/arm-linux-androideabi/4.4.3/crtend.o -lc -lm -ldl" \  
34.   
35. sed -i 's/HAVE_LRINT 0/HAVE_LRINT 1/g' config.h  
36. sed -i 's/HAVE_LRINTF 0/HAVE_LRINTF 1/g' config.h  
37. sed -i 's/HAVE_ROUND 0/HAVE_ROUND 1/g' config.h  
38. sed -i 's/HAVE_ROUNDF 0/HAVE_ROUNDF 1/g' config.h  
39. sed -i 's/HAVE_TRUNC 0/HAVE_TRUNC 1/g' config.h  
40. sed -i 's/HAVE_TRUNCF 0/HAVE_TRUNCF 1/g' config.h  
41. sed -i 's/HAVE_CBRT 0/HAVE_CBRT 1/g' config.h  
42. sed -i 's/HAVE_CBRTF 0/HAVE_CBRTF 1/g' config.h  
43. sed -i 's/HAVE_ISINF 0/HAVE_ISINF 1/g' config.h  
44. sed -i 's/HAVE_ISNAN 0/HAVE_ISNAN 1/g' config.h  
45. sed -i 's/HAVE_SINF 0/HAVE_SINF 1/g' config.h  
46. sed -i 's/HAVE_RINT 0/HAVE_RINT 1/g' config.h  
47.   
48. # collect objects OBJS-$(HAVE_MMX) += $(MMX-OBJS-yes) OBJS += $(OBJS-yes) FFNAME := lib$(NAME) FFLIBS := $(foreach,NAME,$(FFLIBS),lib$(NAME)) FFCFLAGS = -DHAVE_AV_CONFIG_H -Wno-sign-compare -Wno-switch -Wno-pointer-sign FFCFLAGS += -DTARGET_CONFIG=\"config-$(TARGET_ARCH).h\" ALL_S_FILES := $(wildcard $(LOCAL_PATH)/$(TARGET_ARCH)/*.S) ALL_S_FILES := $(addprefix $(TARGET_ARCH)/, $(notdir $(ALL_S_FILES)))ifneq ($(ALL_S_FILES),) ALL_S_OBJS := $(patsubst %.S,%.o,$(ALL_S_FILES)) C_OBJS := $(filter-out $(ALL_S_OBJS),$(OBJS)) S_OBJS := $(filter $(ALL_S_OBJS),$(OBJS)) else C_OBJS := $(OBJS) S_OBJS := endif C_FILES := $(patsubst %.o,%.c,$(C_OBJS)) S_FILES := $(patsubst %.o,%.S,$(S_OBJS)) FFFILES := $(sort $(S_FILES)) $(sort $(C_FILES))

上面中的PREBUILT 和PLATFORM 要根据自己的ndk实际路径来配置。

5,在jni/ffmpeg/libavformat下添加Android,mk内容如下：

1. LOCAL_PATH := $(call my-dir)  
2. include $(CLEAR_VARS)  
3. include $(LOCAL_PATH)/../av.mk  
4. LOCAL_SRC_FILES := $(FFFILES)  
5. LOCAL_C_INCLUDES :=        \  
6. $(LOCAL_PATH)        \  
7. $(LOCAL_PATH)/..  
8. LOCAL_CFLAGS += $(FFCFLAGS)  
9. LOCAL_CFLAGS += -include "string.h" -Dipv6mr_interface=ipv6mr_ifindex  
10. LOCAL_LDLIBS := -lz  
11. LOCAL_STATIC_LIBRARIES := $(FFLIBS)  
12. LOCAL_MODULE := $(FFNAME)  
13. include $(BUILD_STATIC_LIBRARY)

6,在jni/ffmpeg/libavcodec下添加Android,mk内容如下：

1. LOCAL_PATH := $(call my-dir)  
2. include $(CLEAR_VARS)  
3. include $(LOCAL_PATH)/../av.mk  
4. LOCAL_SRC_FILES := $(FFFILES)  
5. LOCAL_C_INCLUDES :=        \  
6. $(LOCAL_PATH)        \  
7. $(LOCAL_PATH)/..  
8. LOCAL_CFLAGS += $(FFCFLAGS)  
9. LOCAL_LDLIBS := -lz  
10. LOCAL_STATIC_LIBRARIES := $(FFLIBS)  
11. LOCAL_MODULE := $(FFNAME)  
12. include $(BUILD_STATIC_LIBRARY)

7,在jni/ffmpeg/libavutil libavfilter libpostproc libswscale libswresample 下添加Android,mk内容如下：

1. LOCAL_PATH := $(call my-dir)  
2. include $(CLEAR_VARS)  
3. include $(LOCAL_PATH)/../av.mk  
4. LOCAL_SRC_FILES := $(FFFILES)  
5. LOCAL_C_INCLUDES :=        \  
6. $(LOCAL_PATH)        \  
7. $(LOCAL_PATH)/..  
8. LOCAL_CFLAGS += $(FFCFLAGS)  
9. LOCAL_STATIC_LIBRARIES := $(FFLIBS)  
10. LOCAL_MODULE := $(FFNAME)  
11. include $(BUILD_STATIC_LIBRARY)

8，运行
  进去jni/ffmpeg目录下执行如下命令：

chmod +x 

执行

这样就会在ffmpeg目录下生成config.h，config.log,config.mak文件

然后修改jni/ffmpeg/config.h下的 

#define avrestrict restrict为#define restrict

把config.log中的restrict的关键字删掉

9，删除 libavformat libavcodec libavutil libpostproc libswscale libswresample 目录下Makefile下的

include $(SUBDIR)../config.mak

  删除libavcodec libavutil libswresample目录下Makefile下的 log2_tab.o \ 

10，把 ffmpeg/libavutil/time.h更名为avtime.h,

同时修改下面文件中的引用libavutil/time.h为libavutil/avtime.h 


ffmpeg/libavformat/avformat.h:211 


ffmpeg/libavformat/avio.c:25 


ffmpeg/libavformat/hls.c:33 


ffmpeg/libavformat/hlsproto.c:29


ffmpeg/libavformat/mux.c:39:30

ffmpeg/libavformat/utils.c:40 


ffmpeg/libavutil/time.c:36

注:上面需要修改avtime.h文件引用的部分文件。根据版本，环境不同可能还会出现其他的文件引用time.h,如果当你编译的时候说找不到time.h，你就可以根据日志显示的文件逐个修改。很好解决的。

11，最后重要的事情就是编译so库了。

 回到project的目录下，如我的项目结构是是ffmpegPro/jni/ffmpeg，那么就需要退回到ffmpegPro目录下，执行

$NDK/ndk-build

如顺利就会在ffmpegPro目录下生成一个libs/armeabi的文件夹，里面会有一个lib的文件

这样就编译好了ffmepg的so库了。。

12，下面我介绍在编译过程中遇到的问题

问题1，编译的时候会在libavfilter文件的某个文件出现找不到time.h文件。time.h   No such file or directory

   解决办法：参照第10点。

   问题2，出现/home/yy/java/ndkr8/android-ndk-r8d/build/core/:41: *** target file `clean' has both : and :: entries.  Stop.

  解决办法：找到提示错误那一行，把那一行注释掉。

  问题3:会出现语法不对的，如  error: expected ';', ',' or ')' before 'vi'  ，原因是因为不认restrict这个关键字

  解决办法：参照第8点，把restrict的关键字删掉

上面就是我遇到的问题了。。

三，改编ffmpeg接口，供jni调用

我本来想直接调用ffmpeg源码的函数用来合成音频视频的，发现对源码不熟悉，需要大量时间去研究ffmpeg的源码以及各函数的是使用，太费时了。果断放弃这个想法。还好我在网上找到了这篇文章

    http://bbs.rosoo.net/thread-13362-1-1.html  给了我提示。。感谢啊。

把ffmpeg.c的main函数该函数接口，用命令来实现我的所有需要的功能，ffmpeg的命令的用法可在网上找资料，很多的命令资料，肯定有你需要的。

下面介绍实现步骤：

1，把编译好的文件复制到android-ndk-r8d/platforms/android-14/arch-arm/usr/lib目录下，注：android-14就是对应你的文件配置中的PLATFORM=/home/yy/java/ndk8/android-ndk-r8d/platforms/android-14/arch-arm的android-14

2，在jni目录下建立一个Android.mk文件（把之前的Android.mk文件删掉，或者重命名），内容如下：

1. LOCAL_PATH := $(call my-dir)  
2.   
3. include $(CLEAR_VARS)  
4.  PATH_TO_FFMPEG_SOURCE:=$(LOCAL_PATH)/ffmpeg  
5. LOCAL_C_INCLUDES += $(PATH_TO_FFMPEG_SOURCE)   
6. //这些就是所要关联的库了，刚才把复制到android-ndk-r8d/platforms/android-14/arch-arm/usr/lib目录下的原因就是为了这个  
7.  LOCAL_MODULE    := ffmpeg-jni  
8. //必须把这几个文件编译进去，不然会很多undefinded的。。  
9.   
10. include $(BUILD_SHARED_LIBRARY)

3，同样在jni目录下建立一个ffmpeg-jni.c的文件，内容为ffmpeg.c文件的内容，只不过main函数改名为video_merge函数，然后在该.c文件创建一个jni接口，函数如下

1. jstring  
2. Java_com_example_ffmpegpro_MainActivity_stringFromJNI( JNIEnv* env,  
3.                                                   jobject thiz )  
4. {  
5. //LOGI("goto function video_gen()");  
6.   
7. char const *str;  
8. int a=10;  
9. char *arg[10];  
10. "ffmpeg";  
11. "-i";  
12. "/sdcard/movie/video2.avi";  
13. "-i";  
14. "/sdcard/movie/222.mp3";  
15. "-vcodec";  
16. "copy";  
17. "-acodec";  
18. "copy";  
19. "/sdcard/movie/output.avi";  
20.   
21.   
22. "JNIMsg","============");  
23. "filePath",arg[2]);  
24.   
25. int ret = video_merge(a,arg);  
26.   
27. "Using FFMPEG doing your job";  
28. return (*env)->NewStringUTF(env,str);  
29. }

4，接下来就是编译ffmepg-jni.c了。

回到ffmepgPro的目录下，执行$NDK/ndk-build

这样就在libs/armeabi的文件夹，里面会有一个libffmpeg-jni.so的文件

这样就可以在你的andorid项目里用jni使用这个功能了。

遇到的问题列表如下：

  问题1：在编译ffmpeg-jni.c的时候，遇到很多undefinded。原因是在Android.mk文件按没有把下面的文件编译进去

ffmpeg/cmdutils.h ffmpeg/cmdutils.c ffmpeg/ffmpeg.h ffmpeg/ffmpeg_opt.c ffmpeg/ffmpeg_filter.c（上面我已经加进去了）

  问题2：在getutime函数中说没有定义struct rusage数据结构。storage size of 'rusage' isn't known

 解决办法：在头文件找到

#if HAVE_SYS_RESOURCE_H
 #include <sys/time.h>
 #include <sys/types.h>
 #include <sys/resource.h>
 #elif HAVE_GETPROCESSTIMES

把#include <sys/resource.h> #include <sys/time.h> 放在if语句外面就可以了。顺便在cmdutils.c文件中，也把这两个头文件引进来。。

  问题3：找不到version.h文件。version.h   No such file or directory

  解决办法：运行version.sh文件生成version.h   如：./version.sh . version.h

完毕，谢谢指教

1. <pre code_snippet_id="109047" snippet_file_name="blog_20131212_4_2079325"></pre>  
2. <pre></pre>  
3. <pre></pre>  
4. <pre></pre>