光流法

光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。

假设该移动很小，那么可以根据泰勒级数得出：

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+}$ Higher-order terms (HOTs)

因此可以推出：

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

或

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

最终可得出结论：

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

这里的 ${\displaystyle V_{x},V_{y}}$ 是 ${\displaystyle x}$ 和 ${\displaystyle y}$ 方向上的速率，或称为 ${\displaystyle I(x,y,t)}$ 的光流。而 ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ 和 ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ 则是图像 ${\displaystyle (x,y,t)}$ 在对应方向上的偏导数。${\displaystyle I_{x}}$、${\displaystyle I_{y}}$ 和 ${\displaystyle I_{t}}$ 的关系可用下式表述：

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

或

${\displaystyle \nabla I^{T}\cdot {\vec {V}}=-I_{t}}$

这是两个未知数中的一个方程，不能这样求解。这被称为光流算法的孔径问题。为了找到光流，需要另一组方程，由附加的约束给出。所有光流方法都引入了估算实际流量的附加条件.

• 相位相关
• 块相关 (误差绝对值和, 标准化互相关)
• 梯度约束-相关的对齐
• 卢卡斯-卡纳德方法（Lucas-Kanade Method）
• 霍恩·山克方法（Horn Schunck Method）