摄像头又称视频头。



摄像头主要有镜头、CCD图像传感器、预中放、AGC、A/D、同步信号发生器、CCD驱动器、图像信号形成电路、D/A转换电路和电源的电路构成。摄像头的主要图像传感部件是CCD(Charge Coupled Device),即电荷耦合器件,它具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、体积小、无残影等特点,CCD是电耦合器件(Charge Couple Device)的简称,它能够将光线变为电荷并可将电荷储存及转移,也可将储存之电荷取出使电压发生变化,因此是理想的摄像元件,是代替摄像管传感器的新型器件。
    摄像头的工作原理是:被摄物体反射光线,传播到镜头,经镜头聚焦到CCD芯片上,CCD根据光的强弱积聚相应的电荷,经周期性放电,产生表示一幅幅画面的电信号,经过预中放电路放大、AGC自动增益控制,于由图像处理芯片处理的是数字信号,所以经模数转换到图像数字信号处理IC(DSP)。同步信号发生器主要产生同步时钟信号(由晶体振荡电路来完成),即产生垂直和水平的扫描驱动信号,到图像处理IC。然后,经数模转换电路通过输出端子输出一个标准的复合视频信号。这个标准的视频信号同家用的录像机、VCD机、家用摄像机的视频输出是一样的,所以也可以录像或接到电视机上观看。图像数字信号处理主是有SONIX(松翰)和VIMICRO(中星微)等。



图像传感器(SENSOR):是一种半导体芯片,其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时,就会产生电荷。目前市场上主流摄像头使用的感光元件主要是CCD和CMOS两种。它们的作用相当于传统相机中的底片。CCD的分辨率高,色彩还原逼真,已经成为百万像素级的数码摄影器材里的主角,但是其价格昂贵;与CCD相比,CMOS具有节能及成本低等特点。而且在百万像素内CMOS的感光效果完全可以和CCD媲美,因而摄像头几乎全都采用CMOS作为感光元件。目前市场上的摄像头产品采用的CMOS品牌较多,主要有MICRON,HYNIX, CISENSOR, TASC等等前四家的市场占有率接近100%。



CCD可分为线阵CCD、三线CCD、面阵CCD和交织传输CCD。摄像头采用是面阵CCD图像传感器。CCD芯片就像人的视网膜,是摄像头的核心。目前我国尚无能力制造,市场上大部分摄像头采用的是日本SONY、SHARP、松下、LG等公司生产的芯片,现在韩国也有能力生产,但质量就要稍逊一筹。因为芯片生产时产生不同等级,各厂家获得途径不同等原因,造成CCD采集效果也大不相同。在购买时,可以采取如下方法检测:接通电源,连接视频电缆到监视器,关闭镜头光圈,看图像全黑时是否有亮点,屏幕上雪花大不大,这些是检测CCD芯片最简单直接的方法,而且不需要其它专用仪器。然后可以打开光圈,看一个静物,如果是彩色摄像头,最好摄取一个色彩鲜艳的物体,查看监视器上的图像是否偏色,扭曲,色彩或灰度是否平滑。好的CCD可以很好的还原景物的色彩,使物体看起来清晰自然;而残次品的图像就会有偏色现象,即使面对一张白纸,图像也会显示蓝色或红色。个别CCD由于生产车间的灰尘,CCD靶面上会有杂质,在一般情况下,杂质不会影响图像,但在弱光或显微摄像时,细小的灰尘也会造成不良的后果。摄像头的分类如下:



1、依成像色彩划分 彩色摄像机:适用于景物细部辨别,如辨别衣着或景物的颜色。黑白摄像机:适用于光线不充足地区及夜间无法安装照明设备的地区,在仅监视景物的位置或移动时,可选用黑白摄像机。
   2、依分辨率灵敏度等划分 影像像素在38万以下的为一般型,其中尤以25万像素(512*492)、分辨率为400线的产品最普遍。 影像像素在38万以上的高分辨率型。
    3、按CCD靶面大小划分 CCD芯片已经开发出多种尺寸: 目前采用的芯片大多数为1/3"和1/4"。在购买摄像头时,特别是对摄像角度有比较严格要求的时候,CCD靶面的大小,CCD与镜头的配合情况将直接影响视场角的大小和图像的清晰度。1英寸--靶面尺寸为宽12.7mm*高9.6mm,对角线16mm。 2/3英寸--靶面尺寸为宽8.8mm*高6.6mm,对角线11mm。 1/2英寸--靶面尺寸为宽6.4mm*高4.8mm,对角线8mm。 1/3英寸--靶面尺寸为宽4.8mm*高3.6mm,对角线6mm。 1/4英寸--靶面尺寸为宽3.2mm*高2.4mm,对角线4mm。 
    4、按扫描制式划分 PAL制。 NTSC制。 中国采用隔行扫描(PAL)制式(黑白为CCIR),标准为625行,50场,只有医疗或其它专业领域才用到一些非标准制式。另外,日本为NTSC制式,525行,60场(黑白为EIA)。 
   5、按照度划分,CCD又分为: 
       普通型 正常工作所需照度1~3LUX 
       月光型 正常工作所需照度0.1LUX左右 
       星光型 正常工作所需照度0.01LUX以下 
       红外型 采用红外灯照明,在没有光线的情况下也可以成像 
    6、按外观分:有机板型、针孔型、半球型。
       CCD彩色摄像头的主要技术指标 
       (1)CCD尺寸,亦即摄像机靶面。原多为1/2英寸,现在1/3英寸的已



普及化,1/4英寸和1/5英寸也已商品化。 
       (2)CCD像素,是CCD的主要性能指标,它决定了显示图像的清晰程度,



分辨率越高,图像细节的表现越好。CCD是由面阵感光元素组成,每一个元素称为像素,像素越多,图像越清晰。现在市场上大多以25万和38万像素为划界,38万像素以上者为高清晰度摄像机。 
    (3)水平分辨率。彩色摄像机的典型分辨率是在320到500电视线之间,主要有330线、380线、420线、460线、500线等不同档次。 分辨率是用电视线(简称线TV LINES)来表示的,彩色摄像头的分辨率在330~500线之间。分辨率与CCD和镜头有关,还与摄像头电路通道的频带宽度直接相关,通常规律是1MHz的频带宽度相当于清晰度为80线。 频带越宽,图像越清晰,线数值相对越大。
    (4)最小照度,也称为灵敏度。是CCD对环境光线的敏感程度,或者说是CCD正常成像时所需要的最暗光线。照度的单位是勒克斯(LUX),数值越小,表示需要的光线越少,摄像头也越灵敏。月光级和星光级等高增感度摄像机可工作在很暗条件,2~3lux属一般照度,现在也有低于1lux的普通摄像机问世。 
    (5)扫描制式。有PAL制和NTSC制之分。 
    (6)信噪比。典型值为46db,若为50db,则图像有少量噪声,但图像质量良好;若为60db,则图像质量优良,不出现噪声。 
    (7)视频输出。多为1Vp-p、75Ω。 
    (8)镜头安装方式。有C和CS方式,二者间不同之处在于感光距离不同。 
    (9)摄像头的像素:SXGA (1280 x1024)又称130万像素,XGA(1024 x768)又称80万像素,SVGA(800 x600)又称50万像素,VGA(640x480)又称30万像素(35万是指648X488),CIF(352x288) 又称10万像素,SIF/QVGA(320x240)。

CCD的第二层是分色滤色片,目前有两种分色方式,一是RGB原色分色法,另一个则是CMYG补色分色法,这两种方法各有利弊。不过以产量来看,原色和补色CCD的比例大约在2:1左右。原色CCD的优势在于画质锐利,色彩真实,但缺点则是噪声问题。因此一般采用原色CCD的DC,在ISO感光度上多半不会超过400。相对的补色CCD多了一个Y黄色滤色器,在色彩的分辨上比较仔细,但却牺牲了部分分辨率,而在ISO值上,补色CCD可以容忍较高的感度,一般都可设定在 800以上。(关于这两种分色方式见下图)

 


 

    CCD的第三层是感光汇流片,这层主要是负责将穿透滤色层的光源转换成电子信号,并将信号传送到影像处理芯片,将影像还原。

最后说一下CMOS:

   CMOS(Complementary Metal-Oxide Semiconductor)即互补性金属氧化物半导体,其在微处理器、闪存和特定用途集成电路(ASIC)的半导体技术上占有绝对重要的地位。CMOS和CCD一样都是可用来感受光线变化的半导体。CMOS主要是利用硅和锗这两种元素所作成的半导体,通过CMOS上带负电和带正电的晶体管来实现基本的功能的。这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。

   因为CMOS结构相对简单,与现有的大规模集成电路生产工艺相同,从而生产成本可以降低。从原理上讲,CMOS的信号是以点为单位的电荷信号,而CCD是以行为单位的电流信号,前者更为敏感,速度也更快,更为省电。现在高级的CMOS并不比一般CCD差,但目前CMOS技术发展还不成熟,这种高质量的CMOS还只应用于专业级别的数码相机上,许多低档入门型的数码相机使用的是廉价低档的CMOS,其成像质量比较差。最大的缺点就是太容易出现噪点, 这主要是因为早期的设计使CMOS在处理快速变化的影像时,由于电流变化过于频繁而会产生过热的现象。所以目前如果购买消费级数码相机还是要选择以CCD为影像传感器的。不过高端的单反相机还是以CMOS居多。


两者优缺点的比较

      CCD               CMOS 
   设计      单一感光器            感光器连接放大器 
   灵敏度    同样面积下高          感光开口小,灵敏度低 
   成本线路  品质影响程度高,         成本高    CMOS整合集成,成本低 
   解析度    连接复杂度低,解析度高     低,新技术高 
   噪点比    单一放大,噪点低         百万放大,噪点高 
   功耗比    需外加电压,功耗高       直接放大,功耗低

由于构造上的基本差异,我们可以表列出两者在性能上的表现之不同。CCD的特色在于充分保持信号在传输时不失真(专属通道设计),透过每一个像素集合至单一放大器上再做统一处理,可以保持资料的完整性;CMOS的制程较简单,没有专属通道的设计,因此必须先行放大再整合各个像素的资料。

整体来说,CCD与CMOS 两种设计的应用,反应在成像效果上,形成包括 ISO 感光度、制造成本、解析度、噪点与耗电量等,不同类型的差异:

ISO 感光度差异:由于CMOS 每个像素包含了放大器与A/D转换电路,过多的额外设备压缩单一像素的感光区域的表面积,因此相同像素下,同样大小之感光器尺寸,CMOS的感光度会低于CCD。

成本差异:CMOS 应用半导体工业常用的MOS制程,可以一次整合全部周边设施于单晶片中,节省加工晶片所需负担的成本和良率的损失;相对地 CCD 采用电荷传递的方式输出资讯,必须另辟传输通道,如果通道中有一个像素故障(Fail),就会导致一整排的讯号壅塞,无法传递,因此CCD的良率比CMOS低,加上另辟传输通道和外加 ADC 等周边,CCD的制造成本相对高于CMOS。

  解析度差异:在第一点“感光度差异”中,由于 CMOS 每个像素的结构比 CCD 复杂,其感光开口不及CCD大, 相对比较相同尺寸的CCD与CMOS感光器时,CCD感光器的解析度通常会优于CMOS。不过,如果跳脱尺寸限制,目前业界的CMOS 感光原件已经可达到1400万像素 / 全片幅的设计,CMOS 技术在量率上的优势可以克服大尺寸感光原件制造上的困难,特别是全片幅 24mm-by-36mm 这样的大小。

噪点差异:由于CMOS每个感光二极体旁都搭配一个 ADC 放大器,如果以百万像素计,那么就需要百万个以上的ADC 放大器,虽然是统一制造下的产品,但是每个放大器或多或少都有些微的差异存在,很难达到放大同步的效果,对比单一个放大器的CCD,CMOS最终计算出的噪点就比较多。

耗电量差异:CMOS的影像电荷驱动方式为主动式,感光二极体所产生的电荷会直接由旁边的电晶体做放大输出;但CCD却为被动式, 必须外加电压让每个像素中的电荷移动至传输通道。而这外加电压通常需要12伏特(V)以上的水平,因此 CCD 还必须要有更精密的电源线路设计和耐压强度,高驱动电压使 CCD 的电量远高于CMOS。

RGB摄像头工作原理简介


由于不少体感设备(Kinect,Leap,DUO)都用到了摄像

头,这里根据实战经验介绍一下RGB摄像头的工作原理。



一张照片或一段视频的形成,从硬件上来说,要经过以

下单元:镜头—>传感器(sensor)—>DSP



下面只针对定焦镜头和CMOS传感器做介绍。



镜头的作用是将光聚焦并成像,其基本原理如下图所

示。而传感器就放在镜头的成像面上(如下图所示的

Film)。


一般体感所用的镜头都是定焦镜头。这里比较重要的参

数是FOV(Field of View),就是镜头的视场角(如下

图所示)。体感设备的可见范围主要受镜头FOV所限(另

外也可能受传感器的大小限制)。


传感器分2种,CCD和CMOS,下面只介绍CMOS。

     


传感器主要由像素阵列组成(如上图右边的方块)。这

个阵列决定了该摄像头的最大分辨率。比如阵列是

640×480个像素,那最大分辨率就是640×480。如果说一

个640×480的摄像头拍出了800×600的图像,那是软件插

值出来的。

从上图可看出,像素阵列由R,G,B三种颜色组成,这就是

Bayer格式(Bayer发明的)。Bayer格式的意思是每个像

素只感受单个基色(RGB三原色之一)光,比如R,然后

从该像素周边的像素算出G和B,这样就得到一个完整的

色彩值(RGB)。

  

每个像素单元是怎么工作的呢?

从硬件上来说,每个像素单元的组成如下:

  • 一个微镜头—用来滤光。如果该像素单元只

需要感受绿色光,则过滤掉其它波长的光,只让绿光通

过。

  • 一个感光元件—做光电转换。我们说的曝光就是通

过这个元件完成的。CMOS传感器的曝光是按行顺序曝

光,即先曝光第一行,再第二行,。。。而每行曝光

时间的长短和行之间的曝光时间间隔已经行数则决定了

帧率(FPS)。比如要达到120帧每秒(FPS=120),那每

帧就必须在1/120秒(约8.3毫秒)内处理完毕,这就要

求曝光时间非常短,像素行数也不能太多(限制了分辨

率)

从软件上来说,我们说的raw data,就是bayer格式的数

据。比如传感器是640×320个像素,那raw data就是一个

640×320的矩阵,矩阵里边每个单元的值就是R或G或B。


传感器感光出来的raw data要经过DSP的处理才能形成最

终的图片或者视频,这个处理流程大致如下:

  • Bayer格式转为RGB格式。经过转换后,raw data变成

RGB图像

  • 对RGB图像进行白平衡,去噪,边缘加强等处理


  • RGB转YUV

 

  • 压缩:如果是图片,则进行JPEG,PNG之类的压缩;

如果是视频,则进行MPEG,DIVX之类的压缩。



以上只是一个原理简介,省略了很多技术细节,不过涉

及了一些体感开发者比较关心的概念:

FOV,分辨率,FPS,Raw data。


而红外摄像头的原理大致相同,差别在于感受的是红外

光而不是可见光。