深度学习光流法 光流算法原理

光流(Optical flow or optic flow)
它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。
光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。

二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。
有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。

光流算法
它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒,它假设一个物体的颜色在前后两帧没有巨大而明显的变化,基于这个思路，我们可以得到图像约束方程。
不同的光流算法解决了假定了不同附加条件的光流问题。

Lucas–Kanade算法
这个算法是最常见，最流行的。
它计算两帧在时间 从$t$ 到 $t+\delta t$ 之间每个像素点位置的移动。
由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。

图像约束方程可以写为
$I (x ,y ,z ,t )= I (x + \delta x ,y + \delta y ,z + \delta z ,t + \delta t )$
$I(x, y,z, t)$ 为在$(x,y,z)$位置的体素。

我们假设移动足够的小，那么对图像约束方程使用泰勒公式，
我们可以得到：
$I (x + \delta x ,y + \delta y ,z + \delta z ,t + \delta t )=I (x ,y ,z ,t )+\frac{\partial I}{\partial x} \delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+\frac{\partial I}{\partial t}\delta t +H.O.T.$
H.O.T. 指更高阶，在移动足够小的情况下可以忽略。

从这个方程中我们可以得到：
$\frac{\partial I}{\partial x} \delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+\frac{\partial I}{\partial t}\delta t =0$

=>
$\frac{\partial I}{\partial x}\frac{\delta x}{\delta t}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta t}+\frac{\partial I}{\partial z}\frac{\delta z}{\delta t}+\frac{\partial I}{\partial t}\frac{\delta t}{\delta t} =0$
最终可写为
$\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial z}V_z+\frac{\partial I}{\partial t} =0$
$V_x ,V_y ,V_z$ 分别是$I(x,y,z,t)$的光流向量中$x，y，z$的组成,

$\frac{\partial I}{\partial x}, \frac{\partial I}{\partial y}, \frac{\partial I}{\partial z},\frac{\partial I}{\partial t}$则是图像在(x ,y ,z ,t )这一点向相应方向的差分 ,

所以可以写成
$I_x V_x + I_y V_y + I_z V_z = − I_t$

从而得到方程
$\Delta I^T\cdot \overrightarrow V = -I_t$

这个方程有三个未知量$V_x,V_y,V_z$，尚不能被解决，这也就是所谓光流算法的光圈问题,那么要找到光流向量则需要另一套解决的方案。
而Lucas-Kanade算法是一个非迭代的算法：

假设流$(V_x,V_y,V_z)$在一个大小为$m*m*m(m>1)$的小窗中是一个常数，
那么从像素 $1...n , n = m^3$ 中可以得到下列一组方程
$$
I_{x_1} V_x + I_{y_1} V_y + I_{z_1} V_z = − I_{t_1}
I_{x_2} V_x + I_{y_2} V_y + I_{z_2} V_z = − I_{t_2}

…

I_{x_n} V_x + I_{y_n} V_y + I_{z_n} V_z = − I_{t_n}
$$

三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：
$\begin{bmatrix} I_{x_1} & I_{y_1} & I_{z_1} \\ I_{x_1} & I_{y_1} & I_{z_1} \\ \vdots &\vdots &\vdots \\ I_{x_n} & I_{y_n} & I_{z_n} \end{bmatrix} \begin{bmatrix}V_x \\ V_y \\ V_z \end{bmatrix} = \begin{bmatrix}− I_{t_1} \\ − I_{t_2} \\ \vdots \\ − I_{t_n} \end{bmatrix}$

记作：
$A \overrightarrow v=-b$
为了解决这个超定问题，我们采用最小二乘法：
$A^TA\overrightarrow v = A^T (-b)$
所以可得
$\overrightarrow v = (A^TA)^{-1}A^T (-b)$
最终可解
$\begin{bmatrix}V_x \\ V_y \\ V_z \end{bmatrix}= \begin{bmatrix} \Sigma I_{x_i}^2 & \Sigma I_{x_i}I_{y_i} & \Sigma I_{x_i}I_{z_i} \\ \Sigma I_{x_i}I_{y_i} &\Sigma I_{y_i}^2 & \Sigma I_{y_i}I_{z_i} \\ \Sigma I_{x_i}I_{z_i} & \Sigma I_{y_i}I_{z_i} &\Sigma I_{z_i}^2 \end{bmatrix} \begin{bmatrix} -\Sigma I_{x_i}I_{t_i} \\ -\Sigma I_{y_i}I_{t_i} \\ -\Sigma I_{z_i}I_{t_i} \end{bmatrix}$
其中的求和是从1到n,
这也就是说寻找光流可以通过在四维上图像导数的分别累加得出。
我们还需要一个权重函数$W(i, j,k)$

这个算法的不足在于它不能产生一个密度很高的流向量，例如在运动的边缘和黑大的同质区域中的微小移动方面流信息会很快的褪去，它的优点在于有噪声存在的鲁棒性还是可以的。