成像系统的应用多点绽放,全面开花

  • 智能手机

  • ADAS – 车载至少7个摄像头

  • 安防及物联网

  • 智能家居 – 门锁、猫眼、老人看护

  • 机器视觉

  • 影视

  • 特种消费 – 运动相机

  • 无人机

  • 军工

  • 医疗影像

ISP技术方兴未艾,重要性越发明显

  • 产业已非常庞大且高速发展,对各类ISP工程师需求很大,仍有很大缺口

  • 位于成像系统的核心

  • 算法正处于快速迭代阶段

  • 随着通信及AI的发展有新的理念及需求

  • 各种应用对ISP的需求不尽相同,需针对不同应用开发不同算法,从而避免一家独大

  • 从事成像系统相关技术开发也需要学习ISP

文章目录

  • 1 成像系统简介

  • 2 光的认识

  • 3 成像环境的认识

  • 3.1 照度

  • 3.2 色温

  • 3.3 动态范围

  • 4 人眼的认识

  • 4.1 成像原理

  • 4.2 人眼的特性

  • 5 光学器件简介

  • 5.1 镜头

  • 5.2 滤光片

  • 5.3 分光镜

  • 5.4 光源

  • 6 图像传感器简介

  • 6.1 结构

  • 6.2 分类

  • 7 图像噪声的认识

  • 7.1 产生原因

  • 7.2 噪声特点

  • 7.3 将噪方法

成像系统简介

光源发出光,经过折射到镜头中,镜头进行聚焦,然后再经过滤光片将不需要的光滤掉,然后到达图像传感器(Image Sensor),在图像传感器进行光电转换、模数转换,然后将数字信号送给ISP完成图像处理,最后送给显示端或编码或进一步后处理。

数字成像系统认识_Android

光的认识

频率、强度、相位、速度是光的四个基本衡量因子。

  • 不同频率的光通过不同的材质时,衰减程度及光速变化都不相同。

  • 不同材料的物质对不同频率的光响应不同

比如,太阳光的波长范围是250~2500nm,经过臭氧层、空气到达地面的频谱范围如下图红色部分所示,有一些频谱会被过滤掉了。

数字成像系统认识_Android_02

成像环境的认识

照度

  • 照度是对环境光强度的度量

  • 衡量单位为lux,白天晴天近10万lux,阴雨天几千lux,夜晚有灯光几十lux,夜晚最小可达0.01lux

  • 照度越小,成像时需要越大的快门(shutter)、增益(gain)、光圈(IRIS)或者补光

数字成像系统认识_Android_03

色温

色温原本指物体(特别是金属)加热到不同温度发出的不同颜色的光。

  • 衡量单位为K,色温越高反而越冷,色温越低就越暖,范围一般为1800~7500K,蜡烛为1800K,晴天中午为7500K

  • 常见的色温值有D65(日光灯发出的光),TL83,TL84,UV、CWF、A光等

数字成像系统认识_Android_04

动态范围

动态范围是对一个场景最亮部分与最暗部分照度比例的衡量。

  • 衡量单位为db,若室内暗处照度为1lux,室外为10万lux,那么动态范围约为100db

  • 常见的宽动态环境是室内外的窗口或门口,以及道路夜晚

下图上半部分是宽动态相机拍摄的画面,可以看清楚亮的地方,也可以看清楚暗的地方。下半部分是普通相机拍摄出来的,暗的地方没有什么信息,亮的地方过曝了也没有什么信息。

数字成像系统认识_Android_05

人眼的认识

成像原理

数字成像系统是对人眼的仿生。

人眼也有镜头、滤光片、传感器以及图像处理系统,对应的器官为:瞳孔、晶状体、角膜、虹膜、视网膜等

数字成像系统认识_Android_06

人眼的特性

  • 只感知可见光、波长为380~780nm

  • 分辨率可达5亿像素,但对颜色的分辨率低很多

  • 帧率为24fps

  • 低照度约为0.01lux,但很暗时只能感知亮度

  • 人眼也会随着环境光强弱调整瞳孔大小,比如从室外进入到很黑的室内,需要一段时间适应就可以看到一些室内的物体

  • 人眼景深很好,能快速聚焦

  • 人眼有白平衡功能,即光源色温发生变化时,人眼会“减弱”颜色的变化,也就是感知的颜色变化没有实际色温变化那么强烈

  • 人眼对亮度的感知是非线性的,也就是说光的照度增大一倍,并不意味着人眼感知的亮度大一倍

  • 人眼的动态范围很好,有130db,能同时看清很亮和很暗的区域

光学器件简介

镜头

镜头是由几组镜片及辅助的电机等组成,形成聚焦。

数字成像系统认识_Android_07

镜头相关属性:

  • 核心参数是焦距,焦距越大拍摄越远但视角越小;反之距离近视角大。所以有长焦镜头、广角镜头。

  • 材质均匀度决定镜头成像精度,即分辨力

  • 光圈大小和材质好坏决定光通量

  • 光通量的一致性也是衡量镜头好坏的核心指标,一致性好图像亮度越均匀,一般中间亮一些,四周暗一些,ISP有算法去弥补

  • 镜头畸变程度也是重要指标之一,一般焦距越小,畸变越严重,ISP有算法对畸变进行 矫正

  • 镜头需与图像传感器的靶面大小、分辨力、CRA等参数契合

滤光片

滤光片用于滤掉不接收的光,普通可见光相机需滤掉红外及紫外光。

一般在镜头上的镀膜,也有单独的滤光片。

数字成像系统认识_Android_08

分光镜

有的相机需要把不同波段的光通过分光镜分到不同的传感器上,这些传感器分别感光后再在ISP里进行融合。常见的有RGB三色相机,以及可见光、红外光宽光谱相机等。

光源

光源也是成像系统的重要光学器件,一般为弥补成像环境的缺陷,如环境照度不足或环境照度不均匀,另外可以用不同色温的灯制造特殊的艺术效果。

光源按补光模式分常亮补光与闪光灯,按频谱范围分可见灯和红外灯。

图像传感器简介

结构

图像传感器由光电转换、信号放大、模数转换、时序驱动、输出接口、控制接口等六部分组成。

数字成像系统认识_Android_09

核心指标是分辨率、帧率与感光度。

  • 分辨率即有多少个感光像素

  • 帧率一般取决于AD转换及输出接口速度

  • 感光度一般取决于单像素面积大小

单个像素放大后的结构如下:

数字成像系统认识_Android_10

分类

  • 按工艺分为CCD与CMOS

  • 按外形分为面阵和线阵

  • 按颜色分为彩色和黑白

  • 按曝光模式分为全局曝光与卷帘曝光,卷帘曝光是一行一行地依次曝光

  • 按感光层位置分正照式与背照式

  • 按接收波长分为可见光、红外、紫外等

  • 按维度分为2D图像与3D成像,3D成像又分为结构光、TOF与双目视差

  • 按宽动态分为单次曝光、多帧多次曝光、单帧多次曝光三类

  • 按输出接口分为MIPI(手机)、LVDS(工业或行业应用,串口)及DVP(低端Sensor,并口)

图像噪声的认识

数字成像系统认识_Android_11

产生原因

图像噪声分为固定噪声和随机噪声。

  • 固定噪声在图像固定位置,产生原因是不均匀的暗电流与不均匀的放大器,固定噪声是在图像中固定的位置不动,如上图所示的绿色小点。

  • 随机噪声(暂态噪声、白噪声)随着时间随机变化。随机噪声主要由电子的随机运动产生,在光电转换、模拟信号传输、模数转换等过程中产生,分为散粒噪声、闪烁噪声、读出噪声等

噪声特点

  • 随机性、在空间域随机分布、非固定噪声在时间域也随机分布

  • 高斯分布,强度、波长、相位都符合高斯分布

  • 无明显方向性

  • 孤立性

  • 与图像传感器温度与增益值正相关

将噪方法

  • 改进图像传感器设计,从源头减少

  • 物理方法,如降低温度

  • 图像处理算法,分为基于空间域的2D算法与基于时间域的3D算法,3D算法只能消除随机噪声

  • 背景差分法可消除固定噪声