光流估计实际上是根据两张连续的帧,去估计两帧之间 pixel-wise(基于物体像素)的光流。凡是有关估计相关的东西,卷积神经网络经过大量数据学习后都能拟合,只要有足够的训练数据和一个较好的网络结构。FlowNet 开辟了这个工作,同时也发布了一个光流估计的数据集。
光流追踪法 分为 稀疏光流追踪,与稠密光流追踪。二者的区别就是在于,稀疏光流追踪法,稀疏光流不对图像的每个像素点进行逐点计算,它通常需要指定一组点进行跟踪,这组点需要具有某种明显的图像特征,例如 Harris 角点或者其他特征等,那么跟踪就会相对稳定和可靠。稀疏光流跟踪的计算开销比稠密光流跟踪小得多。这样计算量减少了很多。下面是稀疏光流法的一个python-opencv实现:
import numpy as np
import cv2
cap = cv2.VideoCapture('test1.avi')
# 得到视频的高度
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
# 得到视频的宽度
width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
# 得到视频的帧数
count = cap.get(cv2.CAP_PROP_FRAME_COUNT)
# 得到视频的帧速
fps = cap.get(cv2.CAP_PROP_FPS)
# 定义写入视频的编码格式
fourcc = cv2.VideoWriter_fourcc(*'XVID') # *'XVID' or *'MJPG' 写入视频类的编码格式
# 创建写入视频的类
temp_video = cv2.VideoWriter("LK_method.avi", fourcc, int(fps), (int(width), int(height)))
# 定义写入视频的编码格式
fourcc = cv2.VideoWriter_fourcc(*'XVID') # *'XVID' or *'MJPG' 写入视频类的编码格式
# 创建写入视频的类
output_video = cv2.VideoWriter("LK_method_output.avi", fourcc, int(fps), (int(width), int(height)))
# 定义随机颜色
color = np.random.randint(0,255,(100,3))
# 读取第一帧
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
# 检测第一帧图像的特征点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, maxCorners=100,qualityLevel=0.01,minDistance=10,blockSize=3)
# 稀疏光流跟踪
while True:
ret, frame = cap.read()
if ret is False:
break
frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 计算光流
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None,winSize=(31, 31), maxLevel=3, criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 30, 0.01))
# 根据状态选择
good_new = p1[st == 1]
good_old = p0[st == 1]
# 绘制跟踪线
for i, (new, old) in enumerate(zip(good_new,good_old)):
a,b = new.ravel()
c,d = old.ravel()
frame = cv2.line(frame, (a,b),(c,d), color[i].tolist(), 2)
frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
temp_video.write(frame)
cv2.imwrite("LK_output.jpg",frame)
output_video.write(frame)
# 更新
old_gray = frame_gray.copy()
p0 = good_new.reshape(-1, 1, 2)
cap.release()
可以看到图中,即是视频的一帧,对人的运动进行了一个跟踪。根据图像会发现稀疏光流法的效果并不是很好。
下面介绍一下稠密光流法,主要是Farneback 光流算法的实现。
import cv2
import numpy as np
# 绘制光流场图像
def drawOptFlowMap(flow,cflowmap,step,color):
# 以 step 步长遍历图像
for x in range(0,flow.shape[1],step):
for y in range(0,flow.shape[0],step):
# 绘制跟踪线
cv2.line(cflowmap, (x,y), (int(x+flow[y][x][0]),int(y+flow[y][x][1])),color)
cv2.circle(cflowmap,(x, y), 2, color, -1)
return cflowmap
cap = cv2.VideoCapture('test.avi')
# 得到视频的高度
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
# 得到视频的宽度
width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
# 得到视频的帧数
count = cap.get(cv2.CAP_PROP_FRAME_COUNT)
# 得到视频的帧速
fps = cap.get(cv2.CAP_PROP_FPS)
# 定义写入视频的编码格式
fourcc = cv2.VideoWriter_fourcc(*'XVID') # *'XVID' or *'MJPG' 写入视频类的编码格式
# 创建写入视频的类
output_video = cv2.VideoWriter("GF_method_output.avi", fourcc, int(fps), (int(width), int(height)))
# 读取第一帧图像
ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
while(1):
ret, frame2 = cap.read()
if ret is False:
break
next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)
# 使用稠密光流算法计算光流
flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
# 通过得到的光流绘制图像
bgr = drawOptFlowMap(flow,frame2,16,(0,255,0))
cv2.imwrite("GF_output.jpg",bgr)
output_video.write(bgr)
# 更新
prvs = next
cap.release()
下面是实现稠密光流法的结果。
可以看出 稠密光流法,此图片上有采取步长为 16 所绘制的光流场。因此,稠密光流是采取的全部的像素点进行求解,并没有求取图像特征点的步骤。而且上图中有人的区域都存在部分追踪线,可以看出,稠密光流比稀疏光流更为稳定。
但是稠密光流法的计算量更大,所以速度也会降低很多。