模糊测试是一种用于检测软件 bug 的自动化方法,通过向目标程序提供意外输入进行运作。它可以有效地发现损坏内存的 bug,通常会带来严重的安全隐患,需要安全补丁进行修复。手动查找这些问题既困难又耗时,而且即便是严格的代码审查,有些 bug 也会被漏掉。对于用不安全的语言(如 C 或 C++)编写的软件项目,模糊测试是确保其安全性和稳定性的关键一步。

为了使模糊测试真正发挥效用,它必须是连续的且需要大规模执行,要无缝集成到软件项目的开发过程中。具体而言,需要有以下功能:

  • 高度可扩展
  • 准确的重复数据删除
  • 问题跟踪器的全自动错误归档和关闭(仅限现在的 Monorail)
  • 测试用例最小化
  • 通过二分法找回归
  • 用于分析模糊器性能和故障率的统计信息
  • 易于使用的 Web 界面,用于管理和查看错误
  • 支持覆盖引导模糊测试(例如 libFuzzer 和 AFL)和 blackbox 模糊测试

为了给 Chrome 浏览器提供这些功能,Google 开始编写 ClusterFuzz,这是一个在 25000 多个内核上运行的模糊测试基础架构,同时还依赖于 Google 的云存储、数据库、监控设施和数据仓库技术。 两年前,他们开始通过 OSS-Fuzz (开源软件的连续模糊测试,ClusterFuzz 是其背后的分布式模糊测试基础架构)向开源项目提供 ClusterFuzz 免费服务。

在开发 ClusterFuzz 的八年时间里,Google 希望这个工具可以融入到开发者的工作流程,并且使得查找 bug、修复 bug 变得异常简单。开源 ClusterFuzz 后,开发者则可以在本地群集上测试 ClusterFuzz,Google 希望鼓励所有软件开发者将模糊测试集成到其工作流程中。

开源模糊测试系统 ClusterFuzz_模糊测试

ClusterFuzz 在 Google 云中运行的方式是,Google 上传想要测试的程序,在它上面提供意外输入,在发现故障后,自动归档 bug,随后工程师就可以开始着手修复。 但需要指出的是,由于依赖于 Google 云的功能,ClusterFuzz 的使用可能会存在一些限制。

多数情况下,ClusterFuzz 的工作流程是自动化的,包括错误检测、分类、错误报告和关闭错误报告。ClusterFuzz 团队指出,像浏览器般复杂的模糊测试产品,ClusterFuzz 提供的自动化测试服务可以节省时间,还能发现在手动进行代码审查时可能漏掉的 bug。早在 2012 年,Google 就使用该款工具每天针对各种 Chrome 版本运行 5000 万个测试用例。

近年来重要的开源项目可以申请加入 OSS-Fuzz 计划,并接收到 Google 的错误报告,具有大量用户群或在全球 IT 基础架构中发挥关键作用的软件项目就可加入。那些被该计划接受的项目也可以访问该工具,例如模糊测试统计数据。

ClusterFuzz 团队表示,ClusterFuzz 是 Chrome 以及许多开源项目开发过程中不可或缺的一部分,它能够在引入后几小时就能发现错误,并在一天内验证修复方法。

现在 Google 已将 ClusterFuzz 与 OSS-Fuzz 结合使用。截止 2019 年 1 月, ClusterFuzz 在与 OSS-Fuzz 集成的 160 多个开源项目中发现了超 11000 个 bug。与此同时,ClusterFuzz 在 Chrome 中发现了 16000 个 bug。

当然,ClusterFuzz 并非唯一的自动化模糊测试工具。据 Venturebeat 报道,2018 年 8 月,Google 还收购了一家专门研究移动图形基准测试工具的公司 GraphicsFuzz,他们的其中一些工具用于找出三星 Galaxy S6 和S9 等手机中的 bug。两年前,微软推出了基于云的模糊测试服务 Project Springfield,用于查找软件中关乎安全的 bug。

相关链接:

https://github.com/google/clusterfuzz

https://opensource.googleblog.com/2019/02/open-sourcing-clusterfuzz.html

https://osp.io/archive