翻译:无阻我飞扬
摘要:文章的作者是来自Google的高级工程师Ofer Shacham以及产品管理主管Masumi Reynders。文章介绍了Google Pixel 2的拍照黑科技,即谷歌自己研发的第一款移动芯片,它被称为Pixel Visual Core,以下是译文。
新款Pixel 2手机有一个强大的相机硬件,软件和机器学习(ML)功能,所以你只需要做的就是按下拍摄按钮去拍摄迷人的照片和视频。帮助你拍出好照片的技术之一是HDR+,它使得拍摄出不同亮度背景的好照片成为可能,无论背景是昏暗的场景还是晴朗的天空。
HDR+可以生成美丽的图像,并且我们已经演变出一种算法,它在过去的一年中有效地使用Pixel 2的应用程序处理器,使你能够在后台智能处理HDR+,从而顺序拍摄出多张照片。与此同时,我们也一直致力于硬件能力的开发,从而大大增强计算能力—超越现有的硬件—将HDR+带入到第三方拍摄应用。
为了扩展HDR+的使用范围,处理最具有挑战的图像和机器学习应用,并提供低延迟和更高效的HDR+处理功能,我们创建了Pixel Visual Core。
Pixel Visual Core是Google针对消费类产品的首个定制图像芯片。它被内置于每个Pixel 2手机中,在接下来的几个月里,我们将通过软件更新来启用它,以使更多的应用程序能够使用Pixel 2的相机拍摄出HDR +质量图像。
让我们为Google以外的技术人员深八一下细节:Pixel Visual Core的核心是Google设计的图像处理单元(IPU)—这是从零开始设计的特定领域可编程处理器,以低功耗提供最高性能。它有八个Google设计的定制内核,每个内核具有512个算术逻辑单元(ALU),在移动设备上,ALU每秒能进行超过3万亿次运算。Pixel Visual Core将HDR+计算的速度提升了5倍,与在应用处理器上运行相比,功耗只有1/10 。IPU有这样的能效的一个关键因素是硬件和软件的紧密耦合 – 与传统的处理器相比,IPU用软件控制了硬件的更多细节。这带来了更简洁的设计和更高的能效,但是,这种紧密耦合也让IPU难以用传统的编程语言进行编程。为了避免这种情况,IPU利用定制的语言来减轻开发人员和编译器的负担:用Halide来进行图像处理,用TensorFlow处理机器学习。Google还定制了一个编译器,用来优化底层硬件的代码。
Pixel Visual Core的放大图像
在接下来的几周中,我们将在Android Oreo 8.1(MR1)的开发者预览中启用Pixel Visual Core作为开发者选项。之后,我们将为使用Android Camera API的所有第三方应用程序启用它,让第三方应用程序可以调用Pixel 2的HDR +技术。我们迫不及待地想看到你通过Pixel 2相机拍摄出的美丽的HDR+照片,也希望Pixel2相机成为您最喜爱的摄影应用程序 。