浅景深效果不但能创造朦胧的背景创造独特的氛围,也可以让观众将目光聚集在主角上,可以说是文青照片必备的元素之一,许多智能型手机透过双镜头测量景物距离,并透过后制的方式将距离较远的景物模糊化,达到远景离焦的效果,而只有单镜头的Pixel 3,则是改以人工智能分析景物距离。

Pixel XL 官网镜像_人工智能

视觉立体感如何产生

人类可以透过视觉分辨物体的远近,最主要的原因是因为双眼的瞳孔为左右分开排列,左右眼在观看同一景物时,会在视网膜产生基本相似但是有有些微差别的图像,这种双眼视觉形成的视差信号送至大脑之后,大脑会将2幅图像之间的差异进行整合,可以辅助产生精细的深度知觉,进而产生立体视觉,让人类可以判断出眼睛到物体之间的精准距离。

在一般摄影技巧中,我们可以光学的方式,靠着加大光圈或是使用长焦端的手法,缩小相机的景深(Depth of field,对焦点前后相对清晰的成像范围),可以让画面中的部分景物维持清晰,但其他部分则变得模糊。由于智能型手机受限于机构的限制,不容易透过光学方式创造缩小景深,所以有许多智能型手机采用人眼立体视觉的概念,透过双镜头的方式产生视差,并藉此测量景物之间的距离,最后再将远方的景物模糊化,以后制的方式模拟浅景深效果。

Pixel XL 官网镜像_Pixel XL 官网镜像_02

Pixel XL 官网镜像_Pixel XL 官网镜像_03

旧款Pixel的测距方式

Pixel系列智能型手机的人像摄影模式,让用户可以轻松拍下具有浅景深效果的照片,但是这些手机都没有双镜头的设计,那么它是怎么达到这种效果的呢?网络大厂的研发团队先前曾在部落格上说明,过去的Pixel 2会先使用HDR+技术拍下清晰的图像,再透过卷积神经网络(Convolutional Neural Network,CNN)以人工智能辅助分析照片,并搭配相位侦测自动对焦(Phase-Detect Auto-Focus,PDAF。也称为双像素Dual-Pixel Autofocus,DPAF)所测得的距离信息,来标定画面中的主角,并将主角以外的区域模糊化,创造浅景深效果。

 

Pixel 3强化人工智能效果

网络大厂并没有在最新的Pixel 3加入双镜头的设计,取而代之的是透过更先进的人工智能,提升辨识照片中的主角与背景的准确度,如此一来就能更精细地将照片的主角分离出来,并在背景套用模糊效果。在Pixel 3的图像处理过程中,除了会参考由相位侦测自动对焦所得的数据之外,还会分析影像边缘的锐利度(原始图像中景深以外的部分边缘锐利度较低),或是分析物品在画面中所占的大小与人脸尺寸比例,来判断物品在空间中的位置(远的东西在画面中比较小)。在收集以上分析方式所提供的「线索」之后,下一步就是需要透过算法将各项数据转换成有用的距离数据。如果使用人工方式手动微调算法,将会使困难度大增,然而这时候可以利用机器学习的方式,大幅简化工作难度。网络大厂的开发人员使用以TensorFlow开发的卷积神经网络进行机器学习,让系统以相位侦测自动对焦测得的数据进行训练,透过不断校正来增加透过影像辨识预测距离的准确度。

Pixel XL 官网镜像_卷积神经网络_04

透过拍照不断训练系统

训练卷积神经网络系统需要使用大量包含相位侦测自动对焦数据的照片与对应的高准确度景深分部信息,此外由于浅景深效果主要应用于肖像拍摄模式,因此需要准备许多类似的情境照片。

为了要准备上述照片,开发人员自行设计了能够一此拿着5支Pixel 3智能型手机拍照的特制支架,并透过Wi-Fi无线网络遥控5支手机,让他们能够在同一瞬间同步拍照,如此一来就能透过动态与多视点立体成像(Motion and Multi-View Stereo)算出景深分部信息。使用5支手机拍照的最大好处,在可以透过多方向的视差消除误差,并确保画面中的任一像素可以被其他任意手机补捉到,降低无对应像素(某特定像素在其他相机中没有出现)的问题,以增加训练的精准度。在实际拍摄时,系统会使用TensorFlow Lite机器学习平台与Pixel 3的高效能绘图处理器,透过卷积神经网络处理完整分辨率的照片与数百万像素的相位侦测自动对焦信息,并在分离主角与背景后产生具浅景深效果的照片。虽然系统无法精确测量出所有景物的切确距离,但是能够测出彼此的相对距离,对于照片后制来说已经足矣。

Pixel XL 官网镜像_Pixel XL 官网镜像_05

如果以网络大厂 Camera App 6.1或更新版本的肖像模式拍摄照片,系统会将距离信息内嵌于照片附加信息中,如此一来使用这就可以在网络大厂 Photos中自由调种离焦的程度,改变照片呈现的风格如果想要进一步了解Pixel 3的浅景深效果,可以参考这个相簿内的范例照片。