1、车载相机应用及概述:

  • 应用:

自动驾驶/ADAS( Advanced Driver Assistance Systems):完全是信息型的图像质量的需求,给机器视觉用的,包括交通灯、斑马线、限速标识等,车道检测、距离检测。

另外后视、环视等:会接有一个显示屏,供人眼来观察,查看行人/物品之类的,它不止是信息型的,还要兼顾人眼视觉,但审美类的需求不是那么高,类似监控相机,信息型及审美型都要兼顾,属于混合型 IQ。

  • IQ 标准:P2020 
  • IQ Design:machine vision based + human vision based
  • IQ 策略:

机器视觉:CDP+CSP (contrast detection probability + Color separation probability),对比度多大时,能检测到的概率,及颜色区分的概率是多大

人眼视觉:Visibility ,和监控相机需求相似,都属于高动态成像的范畴

2、车载相机调试关注要点;

  • Sensitivity:感光度,也就是要足够的亮,太黑了就看不到信息;
  • frame rate:帧率,因为车是在跑,而且跑的很快,距离上面的分辨率很低,有可能看到的是若干毫秒(多少米)之前的影像了,所以要求帧率一般60fps以上 ,甚至有的要求120fps以上;
  • Motion Artefact Free (MAF):车载最重要的指标安全性,motion artefact 会影响驾车者的判断;
  • LED Flickering Mitigation (LFR):交通灯/车灯的闪烁,不能确定是灯故意在朝你闪呢,还是本身车的问题,会分散驾车者的注意力,影响安全性;
  • EXtreme High Dynamic Range (EHDR):因为车是在外面跑的,尤其是过隧道的场景(外面是几万lux,而里面是几lux),要求要有极大的动态范围(称为EHDR),监控叫HDR,一般是100-120dB,车载要求是140dB以上;
  • SNR & SNR Drop:和监控相机不同,不止关注信噪比,还有关注信噪比下降区域的形态,下降太多了不行,会产生干扰驾车者的判断的东西;
  • Geometry Distortion:一般会用大视场范围的鱼眼镜头,会存在畸变的影响;
  • Lens Flare in EHDR:由于镜头的一些特性,在高动态范围下会产生一系列干扰人眼视觉的东西;

3、车载相测试场景:

车载相机IQ调试策略_自动驾驶

如上图,测试场景要覆盖如上提到的注意点:

a、图中后面有太阳强光、白雪、山的阴影,模拟高反射率,高动态范围的场景;

b、图中有车灯、信号灯,测试LED灯频闪问题;

c、隧道、房屋处的阴影,测试动态范围;

d、草木、房子、红绿灯的色彩还原;

e、右边的光源,测试高曝光场景下的可见性,关灯后可测试相应感光度的性能指标;

实际测试要开着车在不同的天气下(阴天、雨天、晴天、雪天),不同的时间段、不同的场景下去验证,另外也要考虑车的震动,灰尘等对相机的影响;

4、典型应用场景说明:

  • Sensitivity:这是对感光性能的要求,左图是人眼视觉的效果,必须要满足如下右图的效果,你才能看清周围的物体,进行倒车,停车等的操作;

车载相机IQ调试策略_人工智能_02

  • Fisheye lens :车载一般会配这种大广角的鱼眼镜头,会带来畸变、shading、眩光等一系列问题,很多车载的应用会配畸变矫正模块,有的 sensor 中就会配畸变矫正模块;

车载相机IQ调试策略_机器视觉_03

  • Extreme High Dynamic Range

如下左图,动态范围不够的话,外面场景就完全饱和了;

车载相机IQ调试策略_机器视觉_04

  • Temperature

车的 sensor 温度范围很大,要求一般是要达到 -40℃--125℃,随着温度升高,对图像质量影响很大,要实时的去调节各温度场景下影响图像质量的因素;

车载相机IQ调试策略_人工智能_05

  • Image Quality And Safety

图像质量和安全性的要求,是机器视觉应用里面最重要的方面,如下在一些逆光、低照下会影响车道、标识的识别,带来很大的安全隐患.

车载相机IQ调试策略_机器视觉_06

怎么从 IQ 角度来解决如上问题 ?

CDP(contrast detection probability):如下图所示,随着对比度的增加(从1%-35%),A物体和B物体能够区分出来的概率也就越大(也就是CDP就越大,AB之间的距离),则机器视觉就能识别该物体了,这就是CDP的原理。

车载相机IQ调试策略_机器视觉_07

如下图所示,可以分析出机器视觉的相机分辨物体的能力,X轴是亮度,Y轴是CDP,0-1lux很暗的场景下CDP为0,不同对比度下的CDP不同(其中的3条曲线,对比度%1,CDP是0.3几、对比度%10,CDP是0.5几、对比度%35,CDP是0.8几),受信噪比、温度等的影响CDP也会下降,饱和的亮度下CPD是0,也是识别不到物体的;

车载相机IQ调试策略_机器视觉_08

所以从应用上来说,我们在调试机器视觉的设备时,就不是传统的那种调试方式了,而是应该要想着如何去提高他CDP的数值。要从lens、sensor 、ISP、模组的角度去综合考量这些问题。

CSP(Color Separation Probability):车载上还有一个比较不同的地方是color fiilter array 非常的多,有传统的 RGGB 格式,也有RCCB、RCCC、RYYCy、RGBIR,其他格式中带C的是指,换成了透光的,可以允许所有颜色的光进来,提高了感光度,但缺点是牺牲了色彩,但车载的机器视觉中的相机也不是太在意颜色,能区分红绿灯、车道标识的颜色指示线也就可以了,所以在评价色彩时,也要用不同的方法。称为CSP(Color Separation Probability),用来评价相机对色彩区分的能力,如下图所示会用类似的光谱仪去测量各个标识物的颜色,测试相机对不同颜色的区分能力,而不是关注单个颜色的还原。

车载相机IQ调试策略_机器视觉_09

车载机器视觉的图像传感需求,可查看这篇文章的描述:​​车载机器视觉的图像传感需求——Mobileye在2021图像传感器工作会议上的演讲​

5、总结

车载的应用是非常分化的,他有些部分是符合监控的、有些部分是符合传统摄影学的、有些部分是符合机器视觉的,所以要根据每个相机的具体应用,去适配合适的 IQ 调试方式。