现在的智能手机包括多个后置摄像头:一个高像素的主摄像头比如一亿像素,其具有超大面积感光元件COMS芯片,9in1像素技术融合出2.1μm 单大像素感光面积提升夜景拍照能力,超大光圈和7P镜头提升摄像头的进光亮,双原生光学防抖ISO提升拍照的效果;超广角镜头的FOV一般在120º左右,畸变校正后实现超广角拍照,一般畸变矫正系数小于13%,在Bokeh算法中的也可以做副摄像头用;超长焦镜头一般4800万像素,等效120mm焦段,可等效10倍光学变焦和最大120倍数字变焦,配合主摄像头一起做双OIS光学防抖实现更好效果的光学变焦;微距800万像素摄像头不与其他其他摄像头搭配使用,仅仅实现近距离拍照功能;200万像素人像景深镜头可以是彩色的也可以是黑白的,主要是配合主摄像头实现背景虚化(Bokeh)功能;借助3D景深摄像头深度恢复技术的后置TOF相机,可以获取到比原设备采集到的更为准确、更清晰的深度图,从而做到更为出色的3D景深背景虚化效果。

前置结构光/TOF深度摄像头的作用主要是用于做人脸识别中的深度信息的采集,从而实现算法中的活体检测,3D点云建模作用。

Bokeh:背景虚化

单摄、双摄、TOF深度相机的不同配置的智能手机,通过算法进行精准的图像主体对象进行分层分割可以实现现背景虚化。。

针对单摄智能手机,可以借助人体识别算法,可以在拍摄人像照片或者视频时实现模拟单反的大光圈效果实现背景虚化效果。

双摄智能手机,可以是主摄像头(一般大于46M)+2M或者5M彩色摄像头配置,或者是主摄像头(一般大于46M)+2M黑白镜头配置,亦或主摄像头(一般

大于46M)+广角镜头配置,可以通过两个摄像头获得图像信息,计算出视差,得出图像中的深度信息,从而可以实现背景虚化效果。一个简单的双目立体视觉系统原理图如下图所示。

Android9 同时打开多个摄像头 手机多个摄像头_Android9 同时打开多个摄像头

两个摄像头的中心的连线的距离为 b,也叫做基线,三维空间任意一点 P 在左相机的成像点为 PL,在右相机的成像点为PR。根据光的直线传播的原理可知,三维空间点 P 就是两个相机的投影中心点与成像点连线的交点。线段d

Android9 同时打开多个摄像头 手机多个摄像头_3D_02

两个成像点PL和PR之间的距离为:

Android9 同时打开多个摄像头 手机多个摄像头_7p后摄像头抖动修复_03

根据相似三角形理论可以得出:

Android9 同时打开多个摄像头 手机多个摄像头_变焦_04

则可以得到点 P 到投影中心平面的距离Z

Android9 同时打开多个摄像头 手机多个摄像头_Android9 同时打开多个摄像头_05

当点 P 在三维空间上移动时,点 P 在左右相机上的成像位置也会改变,从而视差也会发生相应变化,由上式可知,视差与三维空间上的点到投影中心平面的距离成反比。因而,只要知道某点的视差,就可以知道该点的深度信息。

三维空间点 P 在相机的成像图如下图所示。由图可以看出,根据相似三角形原理, 有以下关系:

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_06

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_07

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_08

因此,当已知三维空间上任意一点的在不同图像上的视差,再根据相机的参数,就可以知道该点的三维坐标。

运用图像深度恢复技术可以获取到实时的、准确的、稳定的深度图,再结合肖像算法和图像虚化技术,可以在拍摄照片或者视频时即时更改焦点区域,产生出色的景深效果与前后景虚化体验。同时还支持实时(预览)和快照(拍照)模式。

模组组合

Android9 同时打开多个摄像头 手机多个摄像头_7p后摄像头抖动修复_09

模组设计要求

主摄

从摄

分辨率

大/小

色彩

彩色

彩色

视场角/焦距

基本一致: 副>主

模组距离

越大越好: 10mm~12mm

  TOF成像技术通过向目标发射连续的特定波长的红外光线脉冲,通过特定传感器接收待测物体传回的光信号,计算光线往返的飞行时间或相位差得到待测物体的3D深度信息。TOF相机的亮度图像和深度信息可以通过模型连接起来,迅速精准地完成人脸匹配和检测 。

Android9 同时打开多个摄像头 手机多个摄像头_7p后摄像头抖动修复_10

TOF的硬件组成有:

发光单元:发光单元通常为能发出特定波长红外线的VCSEL,VCSEL能以相对较小功率发射出较高的信号。

光学镜头及滤光片:用于收集反射回的光线。滤光片只允许对应波长的红外线通过,抑制其他光线,并降低噪声。

图像传感器:ToF相机的核心部件,接收反射回来的光线,负责测量每个像素点光线从发光元件到目标物体再反射回传感器的时间计数出深度信息。

TOF深度相机的手机借助3D景深摄像头深度恢复技术,可以获取到比原设备采集到的更为准确、更清晰的深度图,从而做到更为出色的3D景深虚化效果。

景深虚化解决方案支持低光、背光等复杂环境下的拍摄。为满足用户个性化的拍摄需求,针对虚化,能够提供更为个性化的梦幻光圈的创意效果。

还可以实现背景替换,特效等处理,如下图

Android9 同时打开多个摄像头 手机多个摄像头_Android9 同时打开多个摄像头_11

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_12

光学变焦

光学变焦是目前用户对于手机拍照功能的主要诉求点之一,不过由于镜头物理特性的限制,在单摄像头上实现光学变焦对于手机摄像头模组的厚度和整体外观设计带来巨大的挑战。

智能手机的广角+长焦多摄像头的组合方案被业界广泛接纳。利用广角和长焦多个摄像头的镜头物理特性,结合高级视频和图像融合算法,为用户提供流畅的、高质量的光学变焦体验。

算法方案不仅仅是让摄像头平滑自然地过渡到另一个摄像头,避免明显的“跳格”或“跳跃”,而且在拍摄的过程中,画面会根据广角和长焦摄像头捕捉同步的广角和长焦图像,融合为用户请求变焦倍数的高清图像。算法一般支持不同的变焦倍数(3 倍、5 倍以及更高),可为用户提供与更大尺寸相机相当的变焦质量和体验。

  在长焦摄像头中效果比较优质的是潜望式镜头摄像头,其最大的特色在于内变焦设计可以让手机不增加镜头模组体积的情况下,可以大幅度增加摄像头的焦距。获得10倍混合光学变焦功能。

Android9 同时打开多个摄像头 手机多个摄像头_变焦_13

Android9 同时打开多个摄像头 手机多个摄像头_7p后摄像头抖动修复_14

相对于传统的“外变焦”镜头,潜望式镜头又称“内变焦”镜头,是指光学变焦是在机身内部完成。其设计原理是将长焦镜头横向排列,与广角镜头形成垂直布局,利用棱镜折射实现成像。通过潜望式设计,可以在保证手机的薄型外观的同时,大幅增加摄像头焦距,更好的实现光学变焦。

变焦示例

Android9 同时打开多个摄像头 手机多个摄像头_3D_15

广角

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_16

长焦

Android9 同时打开多个摄像头 手机多个摄像头_3D_17

融合后的照片

Android9 同时打开多个摄像头 手机多个摄像头_智能手机_18

  在各大SOC公司提出更高性能的CPU GPU NPU APU ISP芯片的加持下,品牌厂商,模组厂,算法公司对于多摄像头新功能的开发一定会有更广阔的发展前景。