图像生成式大模型

  图像采集中的主要模型包括成像模型和亮度模型。在图像表达f(x,y)中,(x,y)表示像素的空间位置，是由成像时的几何模型所确定的，而f表示像素的幅值数值(灰度)，是由成像时的亮度成像模型所确定的。

(1)几何模型

  图像采集的过程从几何角度可看作是一个将客观世界的场景通过投影进行空间转化的过程，这个投影过程可用投影变换(也称为成像变换或几何透视变换)描述。一般情况下，客观场景、摄像机和图像平面各有自己不同的坐标系统，所以投影成像涉及到在不同坐标系统之间的转换。
  这里主要包括三个坐标系统:**(1)世界坐标系统：也称为真实或现实世界坐标系统XYZ,它是客观世界的绝对坐标(也称客观坐标系统)(2)摄像机坐标系统：是以摄像机为中心制定的坐标系统xyz，一般取摄像机的光学轴为Z轴(3)**图像平面坐标系统:是在摄像机内形成的图像平面坐标系统x’y’。一般取图像平面与摄像机坐标系的xy平面平行，且x轴与x’轴、y轴与y’轴分别重合，这样图像平面的原点就在摄像机的光学轴上。
  根据前面3个坐标系之间不同的相互关系，可以得到不同的摄像机模型。

<1>重合模型

$(0,0,\lambda)$，$\lambda$是镜头的焦距，当焦距为1时，该摄像机叫归一化摄像机，对较远的目标，其投影更靠近图像中心。如下图所示:

$Z>\lambda$，借助相似三角形则有下式:
$\frac{x}{\lambda}=\frac{-X}{Z-\lambda} \quad 式(1-1)$
$\frac{y}{\lambda}=\frac{-Y}{Z-\lambda} \quad 式(1-2)$
  由此，可以推导出:
$x=\frac{\lambda X}{\lambda-Z} \quad 式(1-3)$
$y=\frac{\lambda X}{\lambda-Z} \quad 式(1-4)$
  上述变换将3-D空间中的线段投影为图像平面上的线段。如果在3-D空间相互平行的线段也平行于投影平面，则这些线段在投影后仍然相互平行。3-D空间的矩形投影到图像平面后可能为任意四边形，由4个顶点所确定，因此，投影变换也称为4-点映射。
  而在实际中焦距并不总是1，且在图像平面上是使用像素而不是物理距离来表示位置的，图像平面坐标系与世界坐标系的联系应修正为下式:
$x=\frac{sX}{Z} \quad 式(1-5)$
$y=\frac{sY}{Z} \quad 式(1-6)$
  其中s是尺度因子，需要注意的是，焦距的改变和传感器中光子接收单元的间距变化都会影响图像平面坐标点与世界坐标点的联系。当焦距减为一半时，成像尺寸也减为一半，不过视场是随焦距的减小而增加的。用像素为单位确定的成像尺寸随传感器单元间距的增加而减小，当传感器密度减为一半时，成像像素数也减为一半。焦距和传感器密度都以相同的方式改变从场景到像素的映射关系。
  如果考虑图像平面上的传感器单元和间距在X和Y方向上可以不同，则需要两个尺度因子，即$s_x$和$s_y$。这两个参数被称为焦距参数。由于式(1-1)和式(1-2)都是非线性的，为此，可以考虑使用齐次坐标来表示世界坐标系统XYZ和摄像机坐标系统xyz。这样就可将坐标系统之间的转换线性化，从而可用矢量和矩阵的形式来简洁地表示投影成像过程。一个世界坐标系统中的点可用笛卡尔坐标矢量形式表示为:
$w=[X \quad Y \quad Z]^T$
  则该点对应的齐次坐标矢量形式为:
$w_h=[kX \quad kY \quad kZ \quad k]^T$
  其中k是一个任意的、非零值的常数。将齐次坐标形式转换为笛卡尔坐标形式可用前三个坐标量去除以第4个坐标量而实现。
  从本质上讲，空间场景经过投影变换到图像平面上后损失了一部分信息(距离信息)，所以需要先将这部分信息恢复过来，才能将图像点返回到空间场景中。

<2>分离模型

  该模型如下图所示：

$D_x,D_y,D_z$,假设摄像头的扫视角(x和X轴间的夹角)叫为$\gamma$,而倾斜角(z和Z轴间的夹角)为$\alpha$,可以通过下列步骤转换为重合模型:①将图像平面原点按矢量D移动到世界坐标系的原点；②以某个$\gamma$角(绕Z轴)扫视x轴；③以某个$\alpha$角将z轴倾斜(绕x轴旋转)。
  让摄像机相对世界坐标系统运动也等价于让世界坐标系统相对摄像机逆运动，具体来说，可以每个世界坐标系统中的点分别进行上述几何关系转换所采取的3个步骤：①位于坐标为$(D_x,D_y,D_z)$的齐次坐标点$D_h$经过变换$TD_h$后位于变换后新坐标系统的原点，其中平移矩阵T如下：
$T=\begin{bmatrix} 1&0&0&-D_x\\ 0&1&0&-D_y\\ 0&0&1&-D_z\\ 0&0&0&1 \end{bmatrix}$
  将摄像机逆时针绕z轴旋转$\gamma$角，即
$R_\gamma=\begin{bmatrix} \cos \gamma&\sin \gamma&0&0\\ -\sin \gamma&\cos \gamma&0&0\\ 0&0&1&0\\ 0&0&0&1 \end{bmatrix}$
  倾斜角$\alpha$是z和Z轴的夹角，可以将摄像机逆时针绕x轴旋转$\alpha$角达到倾斜摄像机$\alpha $角的效果，即
$R_\alpha=\begin{bmatrix} 1&0&0&0\\ 0&\cos \alpha&\sin \alpha&0\\ 0&-\sin \alpha&\cos \alpha&0\\ 0&0&0&1 \end{bmatrix}$
  没有倾斜，则z对应Z轴。因此，旋转矩阵$R=R_\gamma R_\alpha$,对应的齐次变换后为$C_h=PRTW_h$,其中P为投影变换矩阵，即
$P=\begin{bmatrix} 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0\\ 0&0&-\frac{1}{\lambda}&1 \end{bmatrix}$
  重合模型下，$RT=E$。

(2)亮度模型

  图像采集的过程从光度学的角度可看作是一个将客观景物的光辐射强度转换为图像灰度的过程，基于这样的亮度成像模型，从场景中采集到的图像的灰度值由两个因素确定：一个是场景中景物本身的亮度，另一个是成像时如何将景物亮度转换为图像灰度。
  场景中景物本身的亮度与光辐射的强度是有关的。对发光的景物(光源)，在光度学中，使用光通量表示光辐射的功率或光辐射量，其单位是流明(lm)，一个光源沿某个方向的亮度用其在该方向上的单位投影面积在单位立体角(单位是球面度sr)内发出的光通量来衡量，单位是$cd/m^2$(坎[德拉],或lux)，其中cd是发光强度的单位，$1cd=1lm/sr$。对不发光的景物，要考虑其他光源对它的照度，被光线照射的表面上的照度用照射在单位面积上的光通量来衡量，单位是lx(勒[克斯],或lux)，$1lx=1lm/m^2$。
  图像灰度是由景物亮度转化而来，一般只有相对的意义。成像时如何将景物亮度转化为图像灰度可以遵循一定的规律。给定一幅图像$f(x,y)$，这里也用$f(x,y)$表示图像在空间特定坐标点$(x,y)$位置的亮度。因为亮度实际是能量的量度，所以f(x,y)一定不为0且为有限值，考虑到光反射的几何因素可借助投影来归一化，所以$f(x,y)$基本上可由两个因素来确定:①入射到可见景物上的光通量②景物对入射光反射的比率，它们分别用照度函数i(x,y)和r(x,y)表示，也称为照度分量和反射分量。而$f(x,y)=i(x,y)r(x,y)$,而$0<i(x,y)<\infty$且$0<r(x,y)<1$。f(x,y)在其坐标(x,y)处的亮度值称为图像在该点的灰度值。

(3)空间和幅度分辨率

  空间视场中的精度对应其空间分辨率，对应数字化的空间采样点数，而幅度范围中的精度对应其幅度分辨率，对应采样点值得量化级数。辐射到图像采集矩阵中光电感受单元的信号上被采样，而在强度上被量化。