一、前期基础知识详解
笔者最近开发一个项目,是在开源项目基础上构筑的,在最近一个版本发布前夕,出现了一个奇怪的问题:在测试手机上运行的应用,功能正常,但是在打出release正式包之后,测试时发现上传功能失效,不能上传数据,即debug包功能正常,release包功能出问题。测试了很久最后确认是混淆文件出了问题,之前项目中使用的混淆文件是原来开源项目带的,而上传功能是后来自己写的,而加了功能之后,没有对修改混淆文件。上传的功能中用到了Gson来实现。
使用Gson是需要处理混淆文件的。而且有很多其他的常用框架或者库在使用时都需要对混淆进行处理。今天就趁着这篇博客梳理一下混淆这一知识点。
1)启用混淆文件
开发中直接使用Android Studio即可实现启用混淆文件。Android Studio自身集成Java语言的ProGuard作为压缩,优化和混淆工具,配合Gradle构建工具使用很简单,只需要在工程应用目录的gradle文件中设置minifyEnabled为true即可。然后我们就可以到proguard-rules.pro文件中加入我们的混淆规则。
buildTypes {
release {
minifyEnabled true
proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
}
}
2)ProGuard作用
①压缩(Shrinking):默认开启,用以减小应用体积,移除未被使用的类和成员,会在优化动作执行之后再次执行。
②优化(Optimization):默认开启,在字节码级别执行优化,让应用运行的更快。
③混淆(Obfuscation):默认开启,增大反编译难度,类和类成员会被随机命名,除非用keep保护。
3)Proguard生成文件
在Android Studio中启用Proguard对代码进行混淆,在打出正式包之后,会在build/outputs/mapping/release目录下生成四个文件。
①dump.txt:列出生成的APK文件中所有class文件的内部结构;
②mapping.txt:列出混淆前的java源码和混淆后的类、方法和属性名字之间的映射;
③seeds.txt:列出为混淆的类和成员;
④usage.txt:列出从apk文件中剥离的代码;
其中mapping.txt文件中写明了混淆的规则,有心人可根据这个文件把混淆后的代码反推导出原来项目中的代码,所以这个文件要保护好。
(ProGuard无法对字符串进行混淆,所以在有些反编译得到项目中使用关键字http/https搜索有时会得到一些重要信息,比如竞品使用了什么API接口,提交数据到哪个网址等等,字符串尚且有如此大的威力,遑论被推导出的原始代码。)
所以,一般来说,文件被混淆的越厉害越无规律越安全,但在很多时候(事实上是每一个正式项目),我们是不能放任ProGuard混淆所有文件的,这时,我们就需要自主处理混淆文件,掌握混淆规则,避免一些地方被混淆导致程序运行出错。
二、上混淆文件,分析混淆规则
总体来说,混淆文件中我们自主编写的混淆规则大概有四类:
1)通用混淆配置,基本上每个项目都会使用到,这段配置几乎是固定的;
# 代码混淆压缩比,在0~7之间
-optimizationpasses 5
# 混合时不使用大小写混合,混合后的类名为小写
-dontusemixedcaseclassnames
# 指定不去忽略非公共库的类
-dontskipnonpubliclibraryclasses
# 不做预校验,preverify是proguard的四个步骤之一,Android不需要preverify,去掉这一步能够加快混淆速度。
-dontpreverify
-verbose
#google推荐算法
-optimizations !code/simplification/arithmetic,!code/simplification/cast,!field/*,!class/merging/*
# 避免混淆Annotation、内部类、泛型、匿名类
-keepattributes *Annotation*,InnerClasses,Signature,EnclosingMethod
# 重命名抛出异常时的文件名称
-renamesourcefileattribute SourceFile
# 抛出异常时保留代码行号
-keepattributes SourceFile,LineNumberTable
# 处理support包
-dontnote android.support.**
-dontwarn android.support.**
# 保留四大组件,自定义的Application等这些类不被混淆
-keep public class * extends android.app.Activity
-keep public class * extends android.app.Appliction
-keep public class * extends android.app.Service
-keep public class * extends android.content.BroadcastReceiver
-keep public class * extends android.content.ContentProvider
-keep public class * extends android.preference.Preference
-keep public class com.android.vending.licensing.ILicensingService
# 保留本地native方法不被混淆
-keepclasseswithmembernames class * {
native <methods>;
}
# 保留枚举类不被混淆
-keepclassmembers enum * {
public static **[] values();
public static ** valueOf(java.lang.String);
}
# 保留Parcelable序列化类不被混淆
-keep class * implements android.os.Parcelable {
public static final android.os.Parcelable$Creator *;
}
#第三方jar包不被混淆
-keep class com.github.test.** {*;}
#保留自定义的Test类和类成员不被混淆
-keep class com.lily.Test {*;}
#保留自定义的xlog文件夹下面的类、类成员和方法不被混淆
-keep class com.test.xlog.** {
<fields>;
<methods>;
}
#assume no side effects:删除android.util.Log输出的日志
-assumenosideeffects class android.util.Log {
public static *** v(...);
public static *** d(...);
public static *** i(...);
public static *** w(...);
public static *** e(...);
}
#保留Keep注解的类名和方法
-keep,allowobfuscation @interface android.support.annotation.Keep
-keep @android.support.annotation.Keep class *
-keepclassmembers class * {
@android.support.annotation.Keep *;
}
2)常用库和框架的混淆配置;
使
Butterknife
SlidingMenu
ImageLoader
Okhttputils
Glide
picasso
okhttp
okio
EventBus
dagger
rxJava
retrofit2
greendao
fresco
crashlytics
fastjson
litepal
注意,这些库或者框架的混淆文件不是所见即所得,不可以直接复制过去使用,而要看清楚文档的说明再进行操作,把一些路径名包名换成对应项目的。
3)项目中使用了第三方SDK;
ShareSDK
环信SDK
支付宝支付
微信支付
高德地图
友盟推送
极光推送
融云
注意:使用了第三方SDK时,阅读最新的第三方提供的文档即可拿到混淆文件,按照文档操作即可。
4)自定义混淆规则,保证一些类、类方法、类名不被混淆;
很多时候,我们在项目中使用了一些功能,需要有明确的指定,这个时候文件或者文件中的某一部分是不能被混淆的,比如说自定义view,在xml中使用的,自定义view是带有完整路径名的,如果此时没有处理混淆文件,那么一个个路径名变成了a.b.c,那么项目就无法运行了。以下是常用的自定义的混淆规则:
①常见的混淆指令
optimizationpasses
dontoptimize
dontusemixedcaseclassnames
dontskipnonpubliclibraryclasses
dontpreverify
dontwarn
verbose
optimizations
keep
keepnames
keepclassmembers
keepclassmembernames
keepclasseswithmembers
keepclasseswithmembernames
②独立列出与保持相关文件不参与混淆的几种命令
keep 保留类和类中的成员,防止被混淆或被移除。
keepnames 保留类和类中的成员,防止被混淆,但当成员没有被引用时会被移除。
keepclassmembers 只保留类中的成员,防止被混淆或被移除。
keepclassmembernames 只类中的成员,防止被混淆,但当成员没有被引用时会被移除。
keepclasseswithmembers 保留类和类中的成员,防止被混淆或被移除。前提是指明的类中的成员必须存在。如果不存在,还是会被混淆。
keepclasseswithmembernames 保留类和类中的成员,防止被混淆,但当成员没有被引用时会被移除。前提是指明的类中的成员必须存在。如果不存在,还是会被混淆。
③保持元素不参与混淆的规则
[保持命令] [类] {
[成员]
}
不混淆某个类
-keep public class com.biaobiao.example.Test { *; }
不混淆某个包的所有类
-keep class com.biaobiao.test.** { *; }
不混淆某个类的子类
-keep public class * extends com.biaobiao.example.Test { *; }
不混淆所有类名中包含了“model”的类及其成员
-keep public class * extends com.biaobiao.example.Test { *; }
不混淆某个接口的实现
-keep class * implements com.biaobiao.example.TestInterface { *; }
不混淆某个类的构造方法
-keepclassmembers class com.biaobiao.example.Test {
public <init>();
}
不混淆某个类的特定的方法
-keepclassmembers class com.biaobiao.example.Test {
public void test(java.lang.String);
}
不混淆某个类的内部类
-keep class com.biaobiao.example.Test$* {
*;
}
三、混淆文件通用模板
# 指定代码的压缩级别 0 - 7(指定代码进行迭代优化的次数,在Android里面默认是5,这条指令也只有在可以优化时起作用。)
-optimizationpasses 5
# 混淆时不会产生形形色色的类名(混淆时不使用大小写混合类名)
-dontusemixedcaseclassnames
# 指定不去忽略非公共的库类(不跳过library中的非public的类)
-dontskipnonpubliclibraryclasses
# 指定不去忽略包可见的库类的成员
-dontskipnonpubliclibraryclassmembers
#不进行优化,建议使用此选项,
-dontoptimize
# 不进行预校验,Android不需要,可加快混淆速度。
-dontpreverify
# 屏蔽警告
-ignorewarnings
# 指定混淆是采用的算法,后面的参数是一个过滤器
# 这个过滤器是谷歌推荐的算法,一般不做更改
-optimizations !code/simplification/arithmetic,!field/*,!class/merging/*
# 保护代码中的Annotation不被混淆
-keepattributes *Annotation*
# 避免混淆泛型, 这在JSON实体映射时非常重要
-keepattributes Signature
# 抛出异常时保留代码行号
-keepattributes SourceFile,LineNumberTable
#优化时允许访问并修改有修饰符的类和类的成员,这可以提高优化步骤的结果。
# 比如,当内联一个公共的getter方法时,这也可能需要外地公共访问。
# 虽然java二进制规范不需要这个,要不然有的虚拟机处理这些代码会有问题。当有优化和使用-repackageclasses时才适用。
#指示语:不能用这个指令处理库中的代码,因为有的类和类成员没有设计成public ,而在api中可能变成public
-allowaccessmodification
#当有优化和使用-repackageclasses时才适用。
-repackageclasses ''
# 混淆时记录日志(打印混淆的详细信息)
# 这句话能够使我们的项目混淆后产生映射文件
# 包含有类名->混淆后类名的映射关系
-verbose
# ----------------------------- 默认保留 -----------------------------
# 保持哪些类不被混淆
#继承activity,application,service,broadcastReceiver,contentprovider....不进行混淆
-keep public class * extends android.app.Activity
-keep public class * extends android.app.Application
-keep public class * extends android.support.multidex.MultiDexApplication
-keep public class * extends android.app.Service
-keep public class * extends android.content.BroadcastReceiver
-keep public class * extends android.content.ContentProvider
-keep public class * extends android.app.backup.BackupAgentHelper
-keep public class * extends android.preference.Preference
-keep public class * extends android.view.View
-keep class android.support.** {*;}## 保留support下的所有类及其内部类
-keep public class com.google.vending.licensing.ILicensingService
-keep public class com.android.vending.licensing.ILicensingService
#表示不混淆上面声明的类,最后这两个类我们基本也用不上,是接入Google原生的一些服务时使用的。
#----------------------------------------------------
# 保留继承的
-keep public class * extends android.support.v4.**
-keep public class * extends android.support.v7.**
-keep public class * extends android.support.annotation.**
#表示不混淆任何包含native方法的类的类名以及native方法名,这个和我们刚才验证的结果是一致
-keepclasseswithmembernames class * {
native <methods>;
}
#这个主要是在layout 中写的onclick方法android:onclick="onClick",不进行混淆
#表示不混淆Activity中参数是View的方法,因为有这样一种用法,在XML中配置android:onClick=”buttonClick”属性,
#当用户点击该按钮时就会调用Activity中的buttonClick(View view)方法,如果这个方法被混淆的话就找不到了
-keepclassmembers class * extends android.app.Activity{
public void *(android.view.View);
}
#表示不混淆枚举中的values()和valueOf()方法,枚举我用的非常少,这个就不评论了
-keepclassmembers enum * {
public static **[] values();
public static ** valueOf(java.lang.String);
}
#表示不混淆任何一个View中的setXxx()和getXxx()方法,
#因为属性动画需要有相应的setter和getter的方法实现,混淆了就无法工作了。
-keep public class * extends android.view.View{
*** get*();
void set*(***);
public <init>(android.content.Context);
public <init>(android.content.Context, android.util.AttributeSet);
public <init>(android.content.Context, android.util.AttributeSet, int);
}
-keepclasseswithmembers class * {
public <init>(android.content.Context, android.util.AttributeSet);
public <init>(android.content.Context, android.util.AttributeSet, int);
}
#表示不混淆Parcelable实现类中的CREATOR字段,
#毫无疑问,CREATOR字段是绝对不能改变的,包括大小写都不能变,不然整个Parcelable工作机制都会失败。
-keep class * implements android.os.Parcelable {
public static final android.os.Parcelable$Creator *;
}
# 这指定了继承Serizalizable的类的如下成员不被移除混淆
-keepclassmembers class * implements java.io.Serializable {
static final long serialVersionUID;
private static final java.io.ObjectStreamField[] serialPersistentFields;
private void writeObject(java.io.ObjectOutputStream);
private void readObject(java.io.ObjectInputStream);
java.lang.Object writeReplace();
java.lang.Object readResolve();
}
# 保留R下面的资源
#-keep class **.R$* {
# *;
#}
#不混淆资源类下static的
-keepclassmembers class **.R$* {
public static <fields>;
}
# 对于带有回调函数的onXXEvent、**On*Listener的,不能被混淆
-keepclassmembers class * {
void *(**On*Event);
void *(**On*Listener);
}
# 保留我们自定义控件(继承自View)不被混淆
-keep public class * extends android.view.View{
*** get*();
void set*(***);
public <init>(android.content.Context);
public <init>(android.content.Context, android.util.AttributeSet);
public <init>(android.content.Context, android.util.AttributeSet, int);
}
#
#----------------------------- WebView(项目中没有可以忽略) -----------------------------
#
#webView需要进行特殊处理
-keepclassmembers class fqcn.of.javascript.interface.for.Webview {
public *;
}
-keepclassmembers class * extends android.webkit.WebViewClient {
public void *(android.webkit.WebView, java.lang.String, android.graphics.Bitmap);
public boolean *(android.webkit.WebView, java.lang.String);
}
-keepclassmembers class * extends android.webkit.WebViewClient {
public void *(android.webkit.WebView, jav.lang.String);
}
#在app中与HTML5的JavaScript的交互进行特殊处理
#我们需要确保这些js要调用的原生方法不能够被混淆,于是我们需要做如下处理:
-keepclassmembers class com.ljd.example.JSInterface {
<methods>;
}
#
#---------------------------------实体类---------------------------
#--------(实体Model不能混淆,否则找不到对应的属性获取不到值)-----
#
-dontwarn com.suchengkeji.android.confusiondemo.md.**
#对含有反射类的处理
-keep class com.suchengkeji.android.confusiondemo.md.** { *; }
#
# ----------------------------- 其他的 -----------------------------
#
# 删除代码中Log相关的代码
-assumenosideeffects class android.util.Log {
public static boolean isLoggable(java.lang.String, int);
public static int v(...);
public static int i(...);
public static int w(...);
public static int d(...);
public static int e(...);
}
# 保持测试相关的代码
-dontnote junit.framework.**
-dontnote junit.runner.**
-dontwarn android.test.**
-dontwarn android.support.test.**
-dontwarn org.junit.**
#
# ----------------------------- 第三方库、框架、SDK -----------------------------
#
-dontwarn com.orhanobut.logger.**
-keep class com.orhanobut.logger.**{*;}
-keep interface com.orhanobut.logger.**{*;}
-dontwarn com.google.gson.**
-keep class com.google.gson.**{*;}
-keep interface com.google.gson.**{*;}
四、其他一些混淆注意事项
①jni方法不可混淆,因为这个方法需要和native方法保持一致;
-keepclasseswithmembernames class * { # 保持native方法不被混淆
native <methods>;
}
②反射用到的类不混淆(否则反射可能出现问题);
③AndroidMainfest中的类不混淆,所以四大组件和Application的子类和Framework层下所有的类默认不会进行混淆。自定义的View默认也不会被混淆;所以像网上贴的很多排除自定义View,或四大组件被混淆的规则在Android Studio中是无需加入的;
④与服务端交互时,使用GSON、fastjson等框架解析服务端数据时,所写的JSON对象类不混淆,否则无法将JSON解析成对应的对象;
# gson compile 'com.google.code.gson:gson:2.8.1'
-keepattributes Signature
-keepattributes *Annotation*
-keep class sun.misc.Unsafe { *; }
-keep class com.photo.collage.photo.grid.bean.frame.FrameBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.LineMarginBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.MarginBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.MyFrameBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.ShapeMarginBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.StickerMarginBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.StoryMarginBean { *; }
-keep class com.photo.collage.photo.grid.bean.frame.TextMarginBean { *; }
⑤使用第三方开源库或者引用其他第三方的SDK包时,如果有特别要求,也需要在混淆文件中加入对应的混淆规则;
⑥有用到WebView的JS调用也需要保证写的接口方法不混淆,原因和第一条一样;
⑦Parcelable的子类和Creator静态成员变量不混淆,否则会产生Android.os.BadParcelableException异常;
-keep class * implements Android.os.Parcelable { # 保持Parcelable不被混淆
public static final Android.os.Parcelable$Creator *;
}
⑧使用enum类型时需要注意避免以下两个方法混淆,因为enum类的特殊性,以下两个方法会被反射调用,见第二条规则。
-keepclassmembers enum * {
public static **[] values();
public static ** valueOf(java.lang.String);
}