• 相机处理系统

android 摄像头每100s返回一帧_数据

  • 分辨率


相机每次采集图像的像素点数，一般对应于光电传感器靶面排列的像元数。




  •         像素深度



每位像素数据的位数，常见的是8bit，10bit，12bit。分辨率和像素深度共同决定了图像的大小。例如对于像素深度为8bit的500万像素，则整张图片应该有500万*8/1024/1024=37M（1024bit=1KB，1024KB=1M）。增加像素深度可以增强测量的精度，但同时也降低了系统的速度，并且提高了系统集成的难度（线缆增加，尺寸变大等）。


  •         帧

影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。 一帧就是一副静止的画面。

每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。

当被测物体有运动要求时，要选择帧数较高的工业相机，一般来说分辨率越高，帧数越低。

  •         最大帧率

相机采集和传输图像的速度，对于面阵相机一般为每秒采集的帧数（Frames/Sec），对于线阵相机为每秒采集的行数（HZ）。

限制最大帧率的因素有：曝光时间、数据读出时间（图像数据从传感器传送到摄像机内部FIFO或存储器的时间）、数据传输时间（图像数据从摄像机内部FIFO或存储器到PC的时间）、像素深度和信号输出格式。手册上通常列出的是在最大分辨率下的帧率。如果采用部分扫描或binning技术，会提高摄像机的输出帧率。当然，前者缩小了采集视场，后者降低了分辨率。


一般情况下，若我们的相机的帧率为15fps，则表示相机ReadOut数据的时间为1000ms/15 =66.7ms



相机曝光时间越长相应地帧率就会下降



相机上的图像采集过程包括两个截然不同的部分。第一部分是曝光。曝光完成后，进行第二部分Readout过程即从传感器的寄存器中读出数据并传送出去（Readout过程）。关于图像采集过程中，相机操作有两种常见的方法：“non-overlapped”的曝光和“overlapped”的曝光。



在非重叠(“non-overlapped”)模式中，每个图像采集的周期中，相机在下一个图像采集开始前，均要完成曝光/读出整个过程。



android 摄像头每100s返回一帧_工业相机_02






为了提高相机的帧率，允许在下一帧图像开始曝光时候，将前一帧获得的图像数据读出并传送出去。相机“重叠”(“overlapped”)曝光的方式见图2所示。



从图2中我们可以看到，相机读出数据和下一帧曝光开始出现重叠的情况，在同一个时刻内，相机执行两个操作，导致在同样的单位时间内，在“overlapped”曝光模式下，可以采集到更多的图片，即相机的帧率更高。


android 摄像头每100s返回一帧_帧率_03


  • 曝光的方式和快门速度


工业线阵相机都是逐行曝光的方式，可以选择固定行频和外触发同步的方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动曝光几种常见方式，工业数字相机一般都提供外触发采图的功能，快门速度一般可到10ms，高速相机还会更快。



  •          曝光时间



快门速度，简单来讲就是按下快门的时间，时间越长，光子到CCD\CMOS表面的光子总和越多，采集的图像就会越亮；如果曝光过度,则照片过亮,失去图像细节;如果曝光不足,则照片过暗,同样会失去图像细节。虽然曝光时间相对长一点图像质量会好一些，但是不能无限长，因为在曝光过程中噪音也在累加。



曝光和增益是直接控制传感器(CCD/CMOS)上读出来的数据，是要优先调节的，以调节曝光时间为主。在不过曝的前提下，增加曝光时间可以增加信噪比，使图像清晰。当然，对于很弱的信号，曝光也不能无限增加，因为随着曝光时间的增加，噪音也会积累， 曝光补偿就是增加拍摄时的曝光量。



  •         相机增益

摄像机输出的视频信号必须达到电视传输规定的标准电平，即为了能在不同的景物照度条件下都能输出的标准视频信号，必须使放大器的增益能够在较大的范围内进行调节。这种增益调节通常都是通过检测视频信号的平均电平而自动完成的，实现此功能的电路称为自动增益控制电路，简称AGC电路。具有AGC功能的摄像机，在低照度时的灵敏度会有所提高，但此时的噪点也会比较明显，这是由于信号和噪声被同时放大的缘故。


增益一般只是在信号弱，但不想增加曝光时间的情况下使用，一般相机增益都产生很大噪音。工业相机在不同增益时图像的成像质量不一样，增益越小，噪点越小；增益越大，噪点越多，特别是在暗处。数码相机的ISO（感光度）就是这里说的增益，增大ISO，是增加感光器件对光的灵敏度。高感光度对低光照灵敏，同时对噪杂信号也灵敏，信噪比小，所以高感光度噪点也多(可利用图片软件的降噪功能减轻或去除)。

调节亮度增益说白了就是改变ISO，改变CMOS传感器的感光性能，但是会影响到画质。调节曝光补偿则是为了改变快门速度，不改变ISO不会影响画质。

  •         ISO

在光线比较暗的情况下把ISO调高的话会降低快门速度，也就是说可以让照出的照片不是很模糊但是有得必有失，高的ISO使照片颗粒感很强的，低的ISO会是画面细腻。分别是ISO100、200、400等。普通情况下一般是用ISO100。同时相当于以前传统柯达胶卷有100的和200一个意思。

ISO感光度的高低代表了在相同EV曝光值时，选择更高的ISO感光度，在光圈不变的情况下能够使用更快的快门速度获得同样的曝光量。反之，在快门不变的情况下能够使用更小的光圈而保持获得正确的曝光量。因此，在光线比较暗淡的情况下进行拍摄，往往可以选择较高的ISO感光度。当然，对于单反相机而言还可以选择使用较大口径的镜头，提高光通量。

ISO感光度是衡量传统相机所使用胶片感光速度标准的国际统一指标，其反映了胶片感光时的速度（其实是银元素与光线的光化学反应速度）。传统相机可以根据拍摄现场的具体情况选择不同ISO感光度的低速、中速或高速胶片进行拍摄。



  •         量子效率

量子效率是描述光电器件的光电转换能力的一个重要参数，它是在某一特定波长下单位时间内产生的平均光电子数与入射光子数之比。随着光电面的表面状态(粗糙面或光滑面)的不同，光电子的逸出量也有变化。但是由于反射和其他原因，得到光子能量而逸出的电子一般较少。多数情况，约有1%～25%左右。





光电导器件的量子效率η，表示输出的光电流与入射光子流之比。



假设入射的单色辐射功率φ(λ)能产生N个光电子，则量子效率如下：



android 摄像头每100s返回一帧_帧率_04



这是个无量纲的量，它表示单位时间内每入射一个光子所能引起的载流子数。



量子效率与感光度：量子效率是器件对光敏感性的精确测量。


    量子效率与感光度关图

由于光子的能量与波长的倒数成比例，量子效率的测量通常是在一段波长范围内进行。底片的量子效率通常少于10%，而感光耦合元件在某些波长位置具有超过90%的效率。


对于感光耦合元件(CCD)图像传感器的像素而言，最佳感光度就是当量子效率等于1时，不过将光电流当作感光度的测定基准时，此时感光度为多少，令人感到相当好奇。图为量子效率与感光度波长的相关特性。若将实际的CCD图像传感器，所测得的感光度与波长关系，和该图重叠，量子效率为多少即可一目了然。

高量子效率可以使信号和信噪比大。

  •         最小感光度

增大感光度会使噪点增加，所以在科研中一般是在较暗的环景下以较小的感光度来减小噪音的产生。

  •         Responsivity（响应度）

 CCD的响应度为单位曝光量所得到的有效信号电压（V/lx·s），其大小等于像元有效信号电压（V）与其曝光量（lx·s）之比值。响应度的大小反映了CCD像元的灵敏度和输出级的电荷/电压转换能力。影响响应度与光电二极管的量子效率、微镜头（为提高响应度而在像素上方做成类似聚光透镜的微小结构）的聚光效率、FD放大器的转换效率及像素尺寸等有关。


  •         光谱响应范围

由于CCD使用的材料、光敏单元结构及电极材料等因素影响，器件对各种单色光的相对响应能力有很大差别，其中响应度最大的波长称为峰值响应波长；通常把响应度等于峰值响应的50%所对应的波长范围称为CCD的光谱响应范围。目前大部分CCD器件的光谱响应范围在400nm~1100nm左右。


  •         像元尺寸


像元大小和像元数（分辨率）共同决定了相机靶面的大小。目前工业数字相机像元尺寸一般位3μm~10μm，一般像元尺寸越小，制造难度越大，图像质量也越不容易提高。


  •         光谱响应特性


是指该像元传感器对不同光波的敏感特性，一般响应范围为350nm~1000nm，一些相机在靶面前面加了一个滤镜，滤除红外线，如果系统需要对红外感光时可去掉该滤镜。



  •         工业相机噪声



噪声是指实际成像目标之外的信号。总体上分为两类，一类是由有效信号带来的散粒噪声，这种噪声对任何相机都存在；另一类是相机本身固有的与信号无关的噪声。它是由于图像传感器读出电路、相机信号处理与放大电路带来的固有噪声，每台相机的固有噪声都不一样。



  •         噪声



   CCD器件的噪声主要有两类：一类是与输出的图形位置无关的随机噪声，另一类图形噪声。



   其中随机噪声主要有：散粒噪声、热噪声（KTC噪声）、低频噪声。



   散粒噪声，光射入光敏区产生信号电荷的过程可看作独立、均匀连续发生的随机过程；单位时间内入射光产生的信号电荷数目并非不是一个恒定不变的值，而是在一个平均值上作微小波动，这种微小的波动便形成了器件的散粒噪声。因为散粒噪声与频率无关，在很宽的频率范围内都有均匀的功率分布；因此，通常称为白噪声。



    热噪声（KTC噪声），它是由信号电荷包注入及检测、输出时引起的。热噪声一般只存在于采用电流型输出或浮置栅扩散放大器输出的器件中。由于热噪声的均方值等于KTC，其中K为波尔兹曼常数，T为绝对温度，C为扩散区等效电容，故得名KTC噪声。



   低频噪声，发生于FD放大器的放大电路中；放大器一般使用MOS晶体管构成，由于MOS管沟道的界面能级捕获和放出电子而产生的1/f噪声，因为噪声功率谱密度正比于1/f而得名，频率越低，噪声越大，为低频噪声的主要来源。



    图形噪声主要有：暗电流噪声、像素感光度不均匀、转移噪声等



    暗电流噪声，暗电流是指在无光照的情况下，器件仍然产生的载流子，这样暗电流叠加在信号中形成了噪声。暗电流产生的噪声可以分为两部分:其一是耗尽层载流子热激发产生的，这是一种随机过程，可用泊松分布描述；其二是由于CCD像元，特别在某些单元位置上缺陷密集而形成暗电流尖峰。



像素感光度不均匀，由于光电二极管的大小和形状不均匀、芯片各像素的微镜头不均匀等因素引起CCD各个像素光电二极管的感光度不一致所带来的噪声。该噪声值与入射光强度成正比。



转移噪声，由于CCD移位寄存器陷阱能级和电势下陷/势垒所引起的。转移噪声具有CCD噪声所特有的两个噪声特点：累积性和相关性。所谓累积性，就是指转移噪声是在转移过程中逐级积累起来的，转移噪声的均方值与转移次数成正比。所谓相关性，是指相邻电荷包的转移噪声是相关的。


  •         动态范围

CCD器件的动态范围DR定义为饱和输出电压与暗信号电压之比。


CCD摄像机器件的动态范围是指其输出的饱和电压与暗场下噪声峰-峰电压之比. 即动态范围=usat/uNp-p。

式中, usat为输出饱和电压; uNp-p为噪声的峰-峰值。

动态范围也可这样来定义和计算, 即由 CCD势阱中可存储的最大电荷量和噪声决定的电荷量之比。

动态范围反映每一个像元灰度质量。在现实世界中，一幅图像会同时具有最亮和最暗的区域，它们之间的差距可能是十分巨大的，机器视觉系统所采集的图像应尽可能地反映出这种灰度的巨大变化范围。
此外，在现实世界中图像灰度的微小变化，可能就是机器视觉系统要区别的目标和背景的界限，所以机器视觉系统也应尽可能地将图像中灰度的细微变化反映出来。这二个概念合并起来，就是动态范围。


  • SNR）


相机的信噪比定义为图像中信号与噪声的比值（有效信号平均灰度值与噪声均方根的比值），代表了图像的质量，图像信噪比越高，相机性能和图像质量越好。


android 摄像头每100s返回一帧_工业相机_05


SNR以分贝表示，式中的S是最亮时的视频电压Vmax和最暗时的视频电压Vmin之差。工业相机的最大输出电压Vmax取决于它能接受的最大未饱和入射光的能力，即在这一最大光照下，工业相机的视频输出电压还未饱和，尚能线性表达其亮度的变化；最小输出电压Vmin为工业相机接收最小光照的能力，即接收图像最暗区域的能力，它除了与图像传感器本身的材料、结构有关外（例如CCD还是CMOS工业相机），尚和工业相机的噪音有关，噪音越大，可检出最暗图像的能力越差。


从公式可以看出，S代表了工业相机能接受的光线的最亮和最暗之间的反差，而N代表了影响视频信号表现灰度细微变化的能力，噪音N越大对图像灰度的微小变化的分辨越困难，同时，最小接受的光照也越大，即灵敏度越差。所以信噪比综合反映了模拟视频信号的动态范围。


  •          分辨率

根据目标的要求精度，反推出相机的像素精度。相机单方向分辨率=单方向视野范围除以理论精度。


例如对于视野大小为10*10mm的场合，要求精度为0.02mm/pixel,则当方向上分辨率=10/0.02=500.然而考虑到相机边缘视野的畸变以及系统的稳定性要求，一般不会只用一个像素单位对应一个测量精度值，一般选择倍数为4或者更高，这样相机单方向分辨率为2000，相机的分辨率=2000*2000=400万，所以选用500万像素的相机即可满足。




彩色相机相关介绍可见网页：https://wenku.baidu.com/view/7d0b1078d1f34693dbef3eb2.html

黑白的多用于工业检测，科学研究领域。因为黑白的CCD光学分辨率高，线对数高。彩色的CCD，单个像素只能感应R/G/B三基色中的一种基色，与之相邻的三个像素点才能还原当前像素点的真实彩色值。所以分辨率相对较低，是黑白CCD的1/3。
黑白CCD，一个像素点就代表一个灰度值，所以分辨率高。比如工业检测上检测物件尺寸，一般都是用黑白。科学研究领域，像航空航天，也绝大多数都是黑白的。
你看天宫和神九对接的时候，那个十字叉定位用的相机，就是黑白的。玉兔登月回传的科学研究图片也都是黑白的（但是有一个彩色相机，是为了互相拍照用的，实用价值无科学黑白价值高）



8 megapixel monochrome cameras：八百万像素单色相机



IR：红外



IR-blocking filter



NIR：近红外