文章目录
- sensor
- AE
- 自动聚焦 Auto Focus （AF）
- PDAF
- DPAF
- AWB
sensor
- 分辨率
常见分辨率的感性表述即30万、100万、200万，正确表述应为0.3M、1M、2M，其中M代表百万，是像素单位。sensor分辨率即指在单位面积上，像素的个数，数值越大 ，则代表像素点越多，捕获的图像细节越多。
MCU: Mioco Control Unit，微控制单元，如STM32单片机
SOC：System on ship，芯片上有大型操作系统，可以跑linux、Android等
Sensor Hub：智能传感集线器，一种基于低功耗MCU和轻量级RTOS操作系统之上的软硬件结合的解决方案 ，主要功能是连接并处理来自各种传感器设备的数据，
AE
https://zhuanlan.zhihu.com/p/100369527
根据ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量
如果曝光质量需要调整，则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数
将新的工作参数写入各硬件设备，驱动光圈、sensor 快门及增益到达新的位置
目前主流的ISP 硬件都会提供关于图像的直方图统计数据，AE 算法可以利用直方图的均值来判断图像是否曝光适当。对于多数场景而言，当图像直方图的均值位于设备动态范围的一半位置时，画面的曝光质量通常是比较理想的。
由于体积的限制，绝大多数手机镜头模组只有固定光圈，极少数手机（三星S9）具有一个机械的切换叶片，可以实现在F1.5和F2.4两个光圈之间的切换。
光圈（aperture）的副作用主要是影响景深，这个问题已经在光圈章节中专题讨论过了。
快门（shutter）的副作用主要是影响运动模糊。一般而言，当曝光时间大于15ms时，画面中速度大于40km/h的车辆就会开始变模糊。当曝光时间大于30ms时，画面中走动的人就会变模糊。因此，拍摄对象的预期移动速度基本上决定了曝光时间的上限。
增益（ISO）的副作用主要表现为画面噪声，尤其是数字增益会引入较大的噪声，显著降低图像质量。
AE算法需要依赖ISP 硬件提供的关于图像的曝光统计数据。曝光统计需要对图像中的每一个像素进行分类和计算，涉及的计算量非常大，对时序要求非常严格，所以这个工作只能交给硬件流水线去做，不适合CPU 处理。
AE算法中根据统计数据评估图像质量、产生新的控制参数的部分则有逻辑比较复杂、算法经常需要升级、数据吞吐量一般不大等特点，因此非常适合用CPU 处理。
- Binning是一种图像读出方式
采用这种方式,相邻的像元中感应的电荷被加在一起,以一个像素的方式读出.B Binning分为水平方向Binning和垂直方向Binning. 水平方向Binning是将相邻的行的电荷加在一起读出,而垂直方向Binning是将相邻的列的电荷加在一起读出.有些相机只有行的Binning,而有些相机行和列都可以实现Binning. Binning这一技术的优点是能提高桢速,和增加灵敏度.当行和列同时采用Binning时,图像的纵横比并不改变.当采用2:1Binning时,图像的解析度,将减少50%. 一般在对图像解析度要求不高,而又有高的桢频率要求的项目中,可采用此技术. - flicker(banding)现象
出现flicker(banding)问题时，从视频上看会发现有规律的明暗相间的条纹，这种现象也叫做牛顿环。如下图所示。
- 产生的原因
Sensor在日光灯作为光源下获取图像数据时会产生flicker，其根本原因是照在不同pixel上光能量不同产生的，所接受的光能量的不同也就是图像的亮度的不同。
由于能量在时间方向上的波形，照在sensor上就使每一个pixel产生在时间方向上的相应波形，由于CMOS sensor的曝光方式是一行一行的方式进行的，任何一个pixel的曝光时间是一样的，也就是同一行上的每个pixel的曝光开始点和曝光的时间都是一模一样的，所以同一行的所有点所接受到的能量是一样的，而在不同行之间虽然曝光时间都是一样的，但是曝光的开始点是不同的，所以不同行之间所接受到的能量是不一定相同的。由此产生sensor出来的图像可能在图像高度方向上会有相应的波形。
为了使不同行之间所接受的能量相同，就必须找一个特定的条件，使得每一行即使曝光开始点不同，但是所接受的光能量是相同的，这样就避开了flicker，这个特定的条件就是曝光时间必须是光能量频率Hz的整数倍时间。
如果上层设置下来是AUTO模式，那么代码里面默认值是5（AUTO_60HZ）,实际上在我们国内，一般的灯光闪烁频率是50hz，所以如果是国内的产品，这个默认值我们需要修改为4（AUTO_50HZ）。
焦点，是从无穷远处物体出发的光线经过光学系统后会聚的点。但这只是概念中的一个理想点，在现实世界中，焦点会存在一定的空间分布，称为弥散圆。这种非理想的焦点通常源于光学系统的像差（aberration）。
- 最小对焦距离 Minimum Focus Distance
所有镜头都可以对无穷远处的物体成清晰像，但对于非常靠近镜头的物体则存在一定的限制，超过限制后成像开始模糊。这个距离称为最小对焦距离（minimum focus range / distance），经常简称对焦距离（focus distance）。
图像是否"清晰（sharp）"是人的主观感受，它的物理本质是光学系统的点扩散函数（Point Spread Function，PSF）这个指标。PSF反映的是一个理想物点经过光学系统后能量的空间分布情况。为讨论方便，令光轴为z轴，成像面为xy平面。由于光的波动性本质，z轴上的一个理想点光源经过光学系统后会在像点所在的xy平面上汇聚成一个具有一定直径的光斑即艾里斑（Airy disk），其直径取决于光学系统的通光口径。这是PSF的理论极限。
当xy平面沿z轴前后移动时，距离像点越远则光斑直径越大，光能量也就越分散（spread）。
由于光能量扩散的原因，理想黑白线对（line-pair）经过镜头之后会出现边缘模糊。如果把方波信号看作是无穷多正弦信号的叠加，那么光学系统的作用就相当于一个空间低通滤波器，会过滤掉信号中的高频分量，只保留低频分量。
自动聚焦 Auto Focus （AF）
自动聚焦存在三种技术路线，即
CD，Contrast Detection, 通过比较图像对比度寻找最合适的聚焦位置
PD，Phase Detection，通过检查光线的相位关系寻找最合适的聚焦位置
DP，Dual Pixel，基于PD原理的一种技术，通过使用两种特别的像素提取聚焦位置信息
PDAF
DPAF
Dual Pixel，每个像素分成两个子像素。对焦时，两种像素单独输出，得到A像和B像，通过A、B之间的距离判断失焦相位。正式拍摄时A、B像素合并成一体，输出一幅图像。
AWB
人类视觉对颜色的分辨能力是存在一定的精度限制的，当两个颜色在色度图（chromaticity diagram）上的距离小于颜色宽容量时，人类将无法区分这两个颜色的差异。人类对低色温的颜色表现出更小的颜色宽容量，对高色温的颜色宽容量更大，这个现象对白平衡的精度做出了一定的约束。
在研究白平衡问题时，有时会把颜色变换到HCL空间，其中H代表色调Hue，C代表色温，L代表亮度Luma。
白平衡的作用就是模拟人类的色彩恒常能力，在图像中去除光源引起的偏色，当图像在显示器上渲染时，使物体呈现其应有的颜色。确切地说，不论拍摄时场景色温是多少，白平衡算法都会把图像的色温变换到显示器的标准色温。
光源亮度愈高色彩的色相也会相对提高。例如物体的色貌在夏天的下午显得更加鲜艳和明亮，而在傍晚则显得柔和。在更亮的光源条件下，物体色看起来更加鲜艳，明暗对比更加强烈。视彩度随着亮度的增加而增加。在更亮的光源条件下，物体色看起来更加鲜艳，明暗对比更加强烈。
