深度学习稀疏光流稀疏光流法

转载

mob64ca13fe9c58 2024-06-15 16:33:37

文章标签 深度学习稀疏光流 OpenCV LK 角点光流 文章分类 深度学习人工智能

而对于稀疏光流来说，在他计算时需要在被跟踪之前指定一组点（角点），因此在使用LK方法之前我们需要配合使用cvGoodFeatureToTrack()来寻找角点，继而使用cvFindCornerSubPix()在之前基础之上精确角点的位置，即寻找亚像素角点。然后利用金字塔LK光流算法，对运动进行跟踪。

LK方法的数学解析部分比较难，所以我们跳过数学原理，直接谈论其算法原理，首先我们需要明白LK算法的三个假设：

1、亮度恒定，图像场景中的目标的像素在帧间运动时外观上保持不变。

2、时间连续或者运动是小运动，图像随时间的运动比较缓慢，实际中指的是时间变化相对图像中的运动的比例要足够小。

3、空间一致。一个场景中的同一表面上的邻近点具有相似的运动，在图像平面上的投影也在邻近区域。

下面给出使用金字塔LK光流算法的代码，笔者在算法相应处给出了一定的注释：

// TestLucasKanade.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include "cv.h"
#include "highgui.h"
const int MAX_CORNERS=500;
int main(int argc,char** argv)
{
IplImage* imgA=cvLoadImage(argv[1],CV_LOAD_IMAGE_GRAYSCALE);
IplImage* imgB=cvLoadImage(argv[2],CV_LOAD_IMAGE_GRAYSCALE);
CvSize img_sz=cvGetSize(imgA);
int win_size=10;

IplImage* imgC=cvLoadImage(argv[3],CV_LOAD_IMAGE_UNCHANGED);

IplImage* eig_image=cvCreateImage(img_sz,IPL_DEPTH_32F,1);
IplImage* tmp_image=cvCreateImage(img_sz,IPL_DEPTH_32F,1);

int corner_count=MAX_CORNERS;
CvPoint2D32f* cornersA=new CvPoint2D32f[MAX_CORNERS];
cvGoodFeaturesToTrack(//检测角点
  imgA,
  eig_image，//两个临时图像
  tmp_image,
  cornersA,//函数的输出，即检测到的角点数组
  &corner_count,//最大角点数，调用函数后返回的角点的数目
  0.01,
  5.0,//返回角点之间的最短距离不应小于min_distance
  0,
  3,
  0,
  0.04
  );
cvFindCornerSubPix(//根据上一步精确角点位置，确定亚像素角点
  imgA,
  cornersA,//整数值的像素位置
  corner_count,//角点数目
  cvSize(win_size,win_size),//等式产生窗口的尺寸
  cvSize(-1,-1),//禁区，不需要时设置cvSize（-1,-1）
  cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,20,0.03)
  );

char features_found[MAX_CORNERS];
float feature_errors[MAX_CORNERS];
CvSize pyr_sz=cvSize(imgA->width+8,imgB->height/3);
IplImage* pyrA=cvCreateImage(pyr_sz,IPL_DEPTH_32F,1);
IplImage* pyrB=cvCreateImage(pyr_sz,IPL_DEPTH_32F,1);
CvPoint2D32f* cornersB=new CvPoint2D32f[MAX_CORNERS];
cvCalcOpticalFlowPyrLK(
  imgA,//初始图像
  imgB,//最终图像
  pyrA,//申请存放两幅输入图像金字塔的缓存，大小至少为(img.width-8)*img.height/3字节
  pyrB,
  cornersA,//用于寻找运动的点
  cornersB,//存放featureA中点的新的位置
  corner_count,//featureA中点的数目
  cvSize(win_size,win_size),
  5,//金字塔层数
  features_found,//对应点是否在第二副图像中发现
  feature_errors,
  cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,20,0.3),
  0
  );

for(int i=0;i<corner_count;i++)
{
  if(features_found[i]==0||feature_errors[i]<550)
  {
   printf("error is %f/n",feature_errors[i]);
   continue;
  }
  printf("got it/n");
  CvPoint p0=cvPoint(cvRound(cornersA[i].x),cvRound(cornersA[i].y));
  CvPoint p1=cvPoint(cvRound(cornersB[i].x),cvRound(cornersB[i].y));
  cvLine(imgC,p0,p1,CV_RGB(255,0,0),2);
}
cvNamedWindow("ImageA",0);
cvNamedWindow("ImageB",0);
cvNamedWindow("LKpyr_opticalFlow",0);
cvShowImage("ImageA",imgA);
cvShowImage("ImageB",imgB);
cvShowImage("LKpyr_opticalFlow",imgC);