前言:

之前也写过几篇关于Camera Tuning岗位的相关介绍:

IQ Tuning 学习路线

关于入职 ISP Tuning 岗位的几个问题及解答

随着工作时间越长,对这个岗位的认识较之前也有了一些更深刻的理解,这里整理总结一下。

一方面是当做现阶段的思考记录,一方面可以给到刚入行或者即将入行的小伙伴以参考。

下面会从如下几个问题去描述:

Camera Tuning岗位是做什么的?

怎样才能做好Tuning的工作?

关于Camera Tuning的岗位前景如何?

1、Tuning岗位是做什么的?

结合我平常的工作任务来看,总结一下其实就两点:解决图像效果相关的问题、调试出符合产品需求的图像效果。

1) 解决图像效果相关的问题

在平常工作中遇到的各种各样的效果问题有很多,从光源-->镜头-->滤光片-->coms sensor-->isp-->编码-->显示,

整个成像系统过程中,每个环节都有可能会出问题。

我们的工作就是得先排查出是哪个模块导致的问题(如果经验足够丰富,可能一眼就知道是哪里的问题,但也不排除会遇到各种稀奇古怪的问题)。

然后再基于该模块,具体问题再去具体分析,能自己解决的就自己解决,涉及到其他模块的,那就需要收集信息,整理分析总结,或者提供建议,推进相应的负责人去解决。

以我自己为例,我是在平台厂工作,负责平台的ISP调试,和我们相关的就是ISP中的各个模块的调试参数、底层配置的sensor驱动、ISP驱动、mipi驱动、还有ISP算法(包含3A),这当中会涉及到和算法组、驱动组的同事联调分析。

另外还包括编码、显示的问题,同样的也是要给出分析结论,推进相应的同事去解决。

如果是sensor的问题,或者是镜头的问题,那就联系客户找sensor厂和镜头厂支持。

很多做Tuning的工程师只是工作在成像系统中某个环节,所以测重点会有所不同,比如工作在sensor厂,那可能会更关注sensor 相关的问题,镜头厂则会更关注镜头导致的效果问题。

2) 调试出符合产品需求的图像效果

首先要了解目标产品的应用需求,这个产品是做什么的,要用在哪里。这决定了成像系统的硬件选型,及后续图像调试的目标。

其次是根据产品的应用需求做好硬件的选型,包括sensor、镜头、滤光片的选型。

这决定了成像系统的指标与局限,比如动态范围、解析力、信噪比,如果本身输入的信息就很糟,光靠后端处理来达到一个好的效果是比较困难的。

如果是在整机厂,也会考虑到平台的选型,不同平台ISP、编码处理性能差异也比较大,是需要重点考量的。

完成上述任务后,接着就是图像效果的调试了,以满足产品需求或者客户需求为标准调试就可以了。

思考:AI ISP的发展是否可以超越硬件本身的限制,达到更好的图像效果呢?

好的镜头,好的sensor决定了获取到的有效数据(比如高分辨率的镜头、高感光度的sensor),

越好的硬件,获取到的有效数据就越多,AI ISP处理出来的效果肯定就越好。和目前用的比较多的生成式AI不一样,

在实际应用中,相机是绝对不能无中生有的,因为它本身就是用于记录/采集外部信息的。

目前AI ISP用的比较多的就是是替代ISP中的降噪模块,但图像噪声本来就是拍摄过程中带来的错误的、额外的信息。所以和传统ISP一样,肯定还是要基于硬件本身的。

另外同样的一套硬件,有AI的加持,处理的效果肯定是要比传统ISP要好的,但好多少,成本增加多少,是现阶段需要考量的。

2、怎样才能做好Tuning?

上文聊到了Tuning是做什么的 —— 解决图像效果相关的问题、调试出符合产品需求的图像效果;

那我们需要思考的就是如何提升自己处理/解决图像效果相关问题的能力,及如何调试出符合产品需求的图像效果;

1) 如何提升自己,处理/解决图像效果相关问题的能力

a、构建对影像系统的整体认知,这个永远都不嫌多。

b、入行时及入行后保持好奇心。

c、求知若渴,多问几个为什么,但同时要学会如何提问。

d、更新知识,对新知识要持怀疑态度,多途径去验证,也可以通过多写几行代码去验证。

e、贴近用户,用户才是真正买单的人,永远不要尝试指点用户。

2)如何调试出符合产品需求的图像效果

如何调试出符合产品需求的图像效果,他需有个流程:

了解目标产品的应用需求 ---> 根据应用需求做好器件选型 ---> 基于对图像的理解,进行效果调优。

a. 了解目标产品的应用需求

应用场景不同的相机,对图像效果的需求是不一样的,比如车载相机对色彩的要求可能就没那么高(只要红绿灯,路上的标识线颜色不偏就可以了),

手机相机对肤色就要求比较高,安防类相机对锐度、通透度、低照度下的噪声/拖影会比较在意,这是我们器件选型及Tuning的目标。

不同相机对图像质量的要求,具体可以看此篇:相机图像质量概述

b. 根据应用需求做好器件选型

上文说过,包括sensor、镜头、滤光片、ISP、编码、显示,他们一同构成了一个成像系统,也决定了该成像系统的指标与局限。

比如 sensor datasheet 中定义的动态范围是60dB,但需求是要达到80dB,这是不合理的。

所以在项目立项时,最好就要参与进去,了解当前硬件的指标和局限。

但目前的现状很多都是选型已经完成了,然后就把设备给到Tuning工程师,你就去调吧,需求合理还好说,要是超出硬件本身的限制就很无奈了。

但这又是不可避免的,这和所在的公司相关,如果是整机厂的Tuning工程师,那就要参与整个器件的选型,他要对后续的图像质量负责。

如果是在sensor厂,平台厂,模组厂,可能就会涉及到,客户给到你,你就调的尴尬境地。

另外也会因为成本,供货问题从而影响到选型,没办法选择性能更好的器件(比如高感光度,高动态范围的sensor、高解析力,大光圈值的镜头等等)导致产品达不到更好的性能指标,这是没有办法改变的,也是可以理解的。

我们能做的就是基于技术指标,去规避掉一些因为选型失误导致的效果差的问题,

比如lens和sensor CRA不匹配导致的shading/迷宫格问题,选择了type3类型的pdaf sensor,ISP又不支持补偿,导致有明显坏点/清晰度差的问题。

之前总结过一篇关于镜头选型的注意事项:关于镜头选型时的一些注意事项

c. 基于对图像的理解,进行效果调优

关于 PS(photoshop),一个强大的图像后处理软件,可以通过PS编辑处理(图像的亮度、清晰度、颜色、对比度等等)一张图像。

Tuning的工作其实也是类似的,通过调试ISP中开放的寄存器参数、及软件的3A参数来达到一个好的图像效果。

差异的点应该是调试的目标不同,摄影师通过PS做后期,可能更偏向于艺术感。而我们 Tuning 更多是以 "真实还原" 外界场景为目标(前提是以人眼视觉为评判标准的相机产品)。

其实做Tuning的话,学习一下摄影还是很有必要的,因为很多时候我们看不出图像怎样调是最好的,这时需要有摄影家的眼力,可以有助于我们调试出更好的作品。

但在做项目的过程中,更多的是客户会提供一个竞品机,要求按照竞品机的风格去调优,但对于画质来说“没有最好,只有更好”,如果调的和竞品机一模一样还有什么竞争力呢?

其实这两者也并不冲突,正确的流程应当是,我们要在满足其真实还原的前提后,再去参照竞品微调一下风格即可。

另外在图像调优过程中,也会遇到需要相互权衡的问题, 比如亮度和对比度的调整,除了会使得画面更通透外,可能也会导致图像高亮处过曝,

那此时就得看具体产品的使用场景,及拍摄主体是什么了,如果过曝不影响主体的识别,我觉得问题是不大的。

3、Tuning岗位的前景?

聊一个岗位的前景如何,肯定是要基于这个行业去看的(Camera Tuning 工程师可以归属于影像行业)。

然后再从两个方面去考量,现阶段市场对影像行业的需求如何?影像行业的发展是否已接近天花板?

这两个问题的答案这里就不详细描述了,大家可以自行去网上调研了解。

调试的未来其实很宽广,从硬件设计到影像终端系统都可以做,最重要的是不能仅仅把自己局限在只是一个调参的岗位。

入技术交流群可添加我的weixin:mudong_771

参考文章:

https://mp.weixin.qq.com/s?__biz=Mzg4MTU1OTIzNA==&mid=2247485370&idx=1&sn=d6e4a2fb1a1d1d6b9a29b7e9074e7729&chksm=cf655417f812dd01cfbeb6dfd4f529667f81dbe80782dcb00024947dd122f29392e3e8420b59&token=614286191&lang=zh_CN#rd

聊聊“影音效果工程师”成长瓶颈及破局思路