2、灰度处理+帧差计算
3、二值化
4、腐蚀
5、膨胀
6、框选出车辆
三、全部代码+实现效果
1、代码
2、车辆检测效果
四、帧差法存在不足之处
一、帧差法
1、概念
帧差法是一种通过对视频图像序列中 相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的情况。
当监控场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像 亮度差的绝对值 ,判断它是否大于 阈值 来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。
2、为什么帧差法可以检测运动的物体?
😎还记得小时候的葫芦娃动画吗?每个人物其实都是一张剪纸,也被叫做“剪纸动画”,剪一张就是一帧,假设葫芦娃动画为每秒25帧,1秒内连续播放25张不同的剪纸。
😎因为每一帧之间是有差异的,所以我们可以看到剪纸动起来了。
- 😋博主演示一遍剪纸动画,让大家更直观的感受
博主有以下同一条鲨鱼的不同形态的png图片,使用图片查看来切换显示每一张图片
👀可以看到鲨鱼动起来了!!!
😎因此可以通过判断 前后两帧是否相同 ,来判断是否有运动的物体,即通过帧差法来检测运动的物体。
😁所以下面跟着博主来学习使用OpenCV通过帧差法来进行移动车辆的识别。当然不止可以识别车辆,其他移动的物体也可以识别。
二、使用OpenCV配合帧差法实现车辆识别
- 开发工具
🔎Qt 5.8.0 + OpenCV
1、加载视频
- 通过VideoCapture来加载本地视频,循环读取每一帧并进行显示
int main(int argc, char *argv[])
{
Mat frame;
VideoCapture cap("D:/QT-Project/image/carMove.mp4");
while(cap.read(frame))
{
//读取一帧显示一帧
imshow("frame", frame);
//延时
waitKey(25);
}
return 0;
}
2、灰度处理+帧差计算
- 为了提高计算机的运算速度,图像处理前一般将图像转成灰度图
因为彩色图片是3通道(RGB)24位深度的图像,而灰度图是单通道8位深度的图像,因此处理灰度图比彩色图效率快多了。
- frontMat为前一帧,afterMat为后一帧
//灰度处理
cvtColor(frontMat, frontGray, CV_BGR2GRAY);
cvtColor(afterMat, afterGray, CV_BGR2GRAY);
//帧差处理 找到帧与帧之间运动的物体差异
absdiff(frontGray, afterGray, diffGray);
- 效果:原图(左)、处理后(右)
通过下图可以发现检测是检测出来了,但是画面非常的暗淡(不清晰),因此需要通过二值化来让图像更清晰点。
3、二值化
- 通过threshold函数将图像二值化
参数一为原图,参数二为处理后的图,直接将处理后的图覆盖掉原图即可
//二值化:黑白分明 会产生大量白色噪点
threshold(diffGray, diffGray, 25, 255, CV_THRESH_BINARY);
- 下面是二值化处理过后的效果
可以发现图像确实是变“清晰”了,因为二值化后的图像只有黑白两种颜色。并且我们还可以发现白色噪点非常多,因为摄像机抖动,风吹树叶等原因,因此还需要通过腐蚀来去除掉这些白色噪点。
4、腐蚀
- 概念
腐蚀是针对图片的二值化数据进行操作的,主要是针对高亮部分。使用算法,将图像的边缘腐蚀掉。作用就是将目标的边缘的“毛刺”踢除掉。
如下图所示:
- 通过erode函数将图像进行腐蚀
//腐蚀处理:去除白色噪点 噪点不能完全去除,反而主要物体会被腐蚀的图案都变得不明显
Mat element = cv::getStructuringElement(MORPH_RECT, Size(3, 3));
erode(diffGray, diffGray, element);
- 下面是腐蚀之后的效果
😧白色噪点确实是被去除了,但是我们的车辆也被腐蚀的不成车样(内部坑坑洼洼的),所以还需要通过膨胀将车辆进行进一步处理。
5、膨胀
- 概念
膨胀是针对图片的二值化数据进行操作的,主要是针对高亮部分。使用算法,将图像的边缘扩大些。作用就是将目标的边缘或者是内部的坑填掉。
如下图所示:
- 通过dilate函数将图像进行膨胀
//膨胀处理:将白色区域变“胖”
Mat element2 = cv::getStructuringElement(MORPH_RECT, Size(20, 20));
dilate(diffGray, diffGray, element2);
- 下面是膨胀之后的效果