一、简介
为了确保Android应用能够在所有兼容Android的设备上正确运行，并且保持相似的用户体验，在每个版本发布之时，Android提供了一套兼容性测试用例集合（Compatibility Test Suite, CTS）来认证运行Android系统的设备是否完全兼容Android规范，并附带有相关的兼容性标准文档（Compatibility Definition Document, CDD）。大部分是基于Junit和仪表盘技术编写的。还扩展了自动化测试过程，可以自动执行用例，自动收集和汇总测试结果。CTS采用XML配置文件的方式将这些测试用例分组成多个测试计划（plan）,第三方也可以创建自己的plan
CTS是开源的测试框架，使用它来测试你的设备是否具备兼容性。CTS主要包含两个组件：
运行在PC上的测试框架组件。主要用来管理测试用例（test case）的执行。
运行在设备或模拟器上的测试用例。这些用例用Java写成的APK文件。
CTS的版本跟android是对应的，每个平台有部同的CTS版本
CTS7.0之前的版本为 ：CTS V1
CTS7.0以及之后的版本为：CTS V2
运行CTS会把相应的测试用例（也就是一个APK文件）传送到设备上并通过instrumentation运行，然后记录运行结果，最后删除测试用例。所有的测试用例执行完毕后，可以参照测试结果重新调整或优化系统。然后继续运行CTS测试。CTS的测试包可以到：http://source.android.com/compatibility/downloads.html去下载，选择对应Android版本的CDD文档（介绍CTS测试），CTS测试包下载（测试包会不断更新），如：android-cts-verifier-4.0.3_r1-linux_x86-arm.zip，android-cts-media-1.0.zip；将下载的CTS测试包解压到相应文件夹里面应包含：android-cts文件夹里面包含Docs、Repository、Tools三个文件夹。需要配置好SDK相关的环境变量，最好是在Ubuntu下进行，搭建好Android的开发环境就可以了。关于环境变量如何配置可以去找下相关的资料。
1. 下载兼容性测试用例包，并解压并命名为“android-cts”。
CTS国内的下地址：http://source.android.youdaxue.com/compatibility/cts/downloads。
windows选择Android4.4 R3 Compatibility Test Suite (CTS) - ARM下载
解压后的目录结构如下:
repository目录后,会有四个文件
logs:存放case执行过程中的log文件或者截图
plans:配置plan的xml文件存放处，自带以下plan
results:结果文件
testcases：case存放目录,自带如下case
tools 工具的执行目录，包含了所需的jar包和一个linux下可执行的shell文件。
工具想要在windows下执行,需要在tools下添加一个windows下可执行的文件：cts-tradefed.bat
@echo off
setlocal enabledelayedexpansion
setlocal ENABLEEXTENSIONS
::设置cts根目录,更改当前目录为批处理本身的目录
set CTS_ROOT=%~dp0\..\..
::设置支持的jar包的根目录
set JAR_DIR=%CTS_ROOT%\android-cts\tools
::支持的jar包,一下项目中引用的jar包都要在启动的时候包含进来
set JARS=ddmlib-prebuilt.jar tradefed-prebuilt.jar hosttestlib.jar cts-tradefed.jar tradefed-prebuilt-orgin.jar jsoup-1.7.3.jar gson-2.2.4.jar commons-compress-1.8.1.jar mail.jar javacsv.jar RXTXcomm.jar
set JAR_PATH=.
for %%i in (%JARS%) do (
set JAR_PATH=!JAR_PATH!;%%i
)
java %RDBG_FLAG% -cp %JAR_PATH% -DCTS_ROOT=%CTS_ROOT% com.android.cts.tradefed.command.CtsConsole %*
pause插上手机，点击cts-tradefed.bat文件启动cts，会出现如下界面：
运行一个测试试试：
现在你回头去看之前的respository目录的logs和results目录里会多了一个文件：
等收集完手机信息后会启动测试，如下图：
结束后去repository/results/下查看结果,点击testResult.xml文件，会在浏览器里打开统计数据
二、常用命令
与host相关的部分常用命令：
help: CTS命令一览表
exit：退出cts终端
与run相关的部分常用命令：
cts-tf>run cts --plan <test_plan_name> 执行一个测试计划
cts-tf>run cts --package <package_name> 单独运行cts测试中的一个包
cts-tf>run cts -c <package name> -m <testcase_name> 单独测试某个用例
cts-tf>run cts --continue-session <session_ID> 继续运行指定session上状态为not executed 的case
cts-tf>run cts [option] --serial/-s <device_ID> 在指定device_ID上run cts [option]
与java包相关的部分常用命令：
cts-tf>list devices: 列出所有连接的设备和设备的状态
cts-tf>list packages: 列出CTS所有的测试包
cts-tf>list plan: 列出CTS所有的测试计划
与测试计划相关的部分常用命令：
cts-tf>add derivedplan --plan plan_name --session/-s session_id –r [pass/fail/notExecuted/timeout]:从指定session id中根据case的各种状态产生一个新的测试计划
与option相关的命令：
cts-tf>run cts --disable-reboot [option]: 在测试过程中不需要重启手机
三、测试流程
----------------------------------------------
第一部分：准备工作
----------------------------------------------
1.在手机上安装android-cts/repository/testcases目录下的两个APK：CtsDelegatingAccessibilityService.apk，CtsDeviceAdmin.apk
2. 进入settings打开Wi-Fi并连接AP (AP需要连外网)
3.进入settings->Security->Screenlock设为None
4.进入settings->Security->EnableUnknown sources
5.进入settings->Security->Deviceadministrators->Enable两个选项
6.进入Language&input->language设为English(UnitedStates)
7.进入settings->Display->Sleep设为30minutes或None
8.进入settings->Developeroptions->Enable USB debugging、Stay awake、Allowmock locations
9.进入settings->Accessibility->EnableDelegating Accessibility Service（设置－》安全－》设备管理器中生成下图，把这三项选中）
----------------------------------------------
第二部分：开始CTS测试（每次输入后加回车）
----------------------------------------------
1.平台用USB线连接电脑
2.打开终端切换到root用户，cd到tools目录下， 输入 ./cts-tradefed （linux平台）
2.点击cts-tradefed.bat文件启动cts （Windows平台）
3.输入run cts --plan CTS显示如下，则表明开始测试CTS
cts-tf > run cts --plan CTS
cts-tf> 01-16 15:45:34 I/TestInvocation: Starting invocation for 'cts' on build'4.0.3_r1' on device 0123456789ABCDEF
01-16 15:45:35I/0123456789ABCDEF: Created result dir 2012.01.16_15.45.34
不同版本测试计划基本一样，可分七种
CTS：运行所有的兼容性测试用例，目前暂时不包括性能测试用例
Signature：对签名的所有的公共接口进行验证
Android：对Android的接口进行测试
Java：对Java核心库进行测试
VM：对Dalvik虚拟机进行测试
RefAPP：对参考应用进行测试
Performance：对性能进行测试
----------------------------------------------
第三部分：关于CTS4.0测试报告
----------------------------------------------
1.CTS测试报告是自动生成一个xml报表，并自动填写的，不需要测试人员干预
2.当一个CTS测试任务开始时，会在/repository/results中为这个任务建立一个存放测试报告的文件夹，文件名以任务开始的日期和时间命名。
3.CTS4.0生成测试报告的速度比CTS2.3/2.2要慢不少，特别是在测试过程中中断测试，CTS4.0需要70秒才会开始生成报告。如果你在此过程中按ctrl+c终止CTS进程，测试报告就无法生成，以后也无法继续测试未完成的计划。
4.CTS测试任务完成后，会生成testResult.xml和2012.01.12.zip打开这个文件夹中的testResult.xml（用firefox或IE浏览器打开)，查看报表是否完全。
----------------------------------------------
第四部分：继续测试未完成的计划
----------------------------------------------
CTS4.0对未完成的测试计划不会生成xml报告，这个和CTS2.3/2.2不同。但是，这并不意味测试中断后无法继续未完成的测试。
1. 前提条件是有未完成的测试计划
2. 平台用USB线连接电脑
3. 进入的CTS状态（cts-tf >）
6.输入l r终端会显示（l和r中间有空格）
Session Pass Fail Not Executed Start time Planname
0 7 0 0 2012.01.16_16.09.19 NA
1 13 0 0 2012.01.16_16.13.01 NA
2 19 19 17120 2012.01.18_13.43.56 CTS
（根据start time时间，确定你要的任务的session编号）
7. 输入 run cts –continue-session session_id （session编号）
----------------------------------------------
第五部分：单独对fail/notExecuted/timeout的测试项进行测试
----------------------------------------------
1.前提条件是已经有完成的测试结果testResult.xml文件
2.平台用USB线连接电脑
3. 进入的CTS状态（cts-tf >）
4.输入l r
Session Pass Fail Not Executed Start time Plan name
0 7 0 0 2012.01.16_16.09.19 NA
1 13 0 0 2012.01.16_16.13.01 NA5.输入addderivedplan --plan plane_name（新建一个测试计划） --session/-s session_id -r[pass/fail/notExecuted/timeout] （只能选择其中一项）
6.输入run cts –plan plane_name（新建的测试计划名称） 开始测试
7.测试完成后，CTS会自动生成一个新测试报表文件夹
----------------------------------------------
第六：单独测试某个Case
----------------------------------------------
1.单个Case每单独测试一次，就会生成一个Session（和测试报告xml）。
2.平台用USB线连接电脑
3. 进入的CTS状态（cts-tf >）
6.从CTS测试报告XML文件中查找需要测试的Case的packagename 和 method name
按上方的例子：android.acceleration.cts.HardwareAccelerationTest是package name，testIsHardwareAccelerated是method name
7.输入runcts -c android.acceleration.cts.HardwareAccelerationTest --m testIsHardwareAccelerated开始测试这个Case
8. 测试完成后，CTS会自动生成一个新测试报告文件夹
四、注意点
1. 如果需要执行可访问性方面的兼容性测试，则安装“CtsDelegatingAccessibilityService.apk”，并将Settings->Accessibility->Delegating Accessibility Service选项打开。一般情况下是没有的。
2. 如果需要执行设备管理方面的兼容性测试，则安装“CtsDeviceAdmin.apk”，并将Setting->Security->Devices Administrators->android.devicesadmin.cts.CtsDevicesAdmin等选项打开。
3. 如果需要执行多媒体方面的兼容性测试，则需要:
1)从http://source.android.com/compatibility/downloads.html 下载android- cts-media-X.Y.zip并解压。
2)进入解压后的文件夹，并执行bash copy_media.sh, 把测试所需文件copy到手机中，否则会影响后边android.media等与media相关测试包的执行。
4. 保证手机处于home界面，即按下“Home”键。CTS测试正式开始之后出现“cts_host >”测试默认CTS，其中包括所有的packages，可以输入如下命令 :run cts --plan CTS 或者
run cts –disable -reboot --plan CTS (跑测试过程中，手机不会reboot，这样可以方便接adb logcat),跑起来时先根据日期和时间创建测试结果的文件夹，然后出现“start test run of xx packages, containing xx tests”说明测试已经开始跑了，此时尽量再多观察十分钟，出现“Installing prerequisites”并且之后有显示case pass，则确保cts确实开始run了。
5.CTS每次执行run cts –plan CTS时，CTS会搜索android-cts-4.0.3_r#-linux_x86-arm/android-cts/repository/results中的历史报表文件夹。如果文件有很多，启动速度会非常慢。所以，请定期清理results文件夹中的历史报表（直接删除报表文件夹即可）
6.每次测试保证把CTS测试case全部跑完，用 “l r”查看，本次CTS测试是否全部run完，即not executed一列的数值是0，如果数值不为0，则表示还剩下没有run完的case,有可能是手机冻结或者reset导致adb 识别不了设备，所以后边的case都为not executed状态。如果手机离线了，即adb devices 状态为offline,这时需要重新连接手机，后使用命令“run cts --continue-session session_id” 就可以继续上面not executed的case了，session_id用命令l r就可以看见。
7.如果测试过程中需要跑指定的几个packages，而不是full CTS, 则可修改plan文件夹中的CTS.xml文件。
