一般视频监控行业都会选择把视频存储在本地NVR或者服务器上,而不是存储在客户端电脑,只有当用户经费预算有限的时候,或者用户特殊需求要求存储在本地客户端电脑的时候才会开启存储到本地,正常来说视频存储需要专用的硬盘来存储比较好,一个是安全性,更重要的是容量大,一般NVR可以外接8块硬盘,每个4T,一起就是32T,这个对于普通的电脑来说肯定是比不了的,尤其是现在高清视频阶段了,需要存储的视频清晰度很高,就算用H265编码存储,一天24小时的视频量也不少,很多重要场所重点部位,要求存储的视频天数大于60天,这个一般电脑上是不够存储的,所以现在还衍生了磁盘阵列来存储在服务器,这样能够存储的天数更大。
本视频监控系统默认内核采用的是ffmpeg来解析rtsp视频流,同时还支持vlc内核,ffmpeg在播放视频流的时候,可以打开文件进行视频流信息的存储,默认存储的是裸流,可以自行根据编码规则改成MP4格式的,这样存储的视频文件可以用其他播放器打开,而如果是存储的裸流的话,一般需要ffmpeg自身去打开播放,目前测试过的支持裸流直接播放的播放器是完美解码播放器potplayer,如果还有同名的aac声音文件的话,会同步播放声音。
采用ffmpeg来存储视频流和对应的声音文件,还是非常方便的,直接打开文件后写入data数据即可,在拿到视频流解码的时候,可以判断是否还带了音频流,如果带了的话,可以同步存储音频文件到aac文件,存储音频流的时候需要做个特殊处理,先写入dts头,再写入音频流数据,不然会出错。本系统封装的ffmpeg类,提供了两种方式存储视频文件,一种是存储成单个视频文件,还有一种是按照存储间隔比如30分钟存储成多个视频文件,到了时间间隔重新生成文件存储,在视频监控领域第二种用的比较多,这样方便回放录像和拷贝录像,单个文件比较小,很容易查询和拷贝。
皮肤开源:https://gitee.com/feiyangqingyun/QWidgetDemo https://github.com/feiyangqingyun/QWidgetDemo 文件名称:styledemo
软件模块
视频监控模块,各种停靠小窗体子模块,包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。
视频回放模块,包括本地回放、远程回放、设备播放、图片回放、视频上传等。
电子地图模块,包括图片地图、在线地图、离线地图、路径规划等。
日志查询模块,包括本地日志、设备日志等。
系统设置模块,包括系统设置(基本设置、视频参数、数据库设置、地图配置、串口配置等)、录像机管理、摄像机管理、轮询配置、用户管理等。
基础功能
- 支持各种视频流(rtsp、rtmp、http等)、视频文件(mp4、rmvb、avi等)、本地USB摄像机播放。
- 支持多画面切换,包括1、4、6、8、9、13、16、25、36、64画面切换。
- 支持全屏切换,多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键(alt+enter全屏,esc退出全屏)。
- 支持视频轮询,包括1、4、9、16画面轮询,可设置轮询分组(轮询预案)、轮询间隔、码流类型等。
- 支持onvif协议,包括设备搜索、云台控制、设备控制(图片参数、校对时间、系统重启,抓拍图片等)。
- 支持权限管理,不同的用户可以对应不同的模块权限,比如删除日志、关闭系统等。
- 数据库支持多种,包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
- 本地USB摄像机支持设置分辨率、帧率等参数。
- 所有停靠模块都自动生成对应的菜单用来控制显示和隐藏,在标题栏右键可以弹出。
- 支持显示所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
- 双击设备弹出实时预览视频,支持图片地图、在线地图、离线地图等。
- 摄像机节点拖曳到对应窗体播放视频,同时支持拖曳本地文件直接播放。
- 删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
- 图片地图上设备按钮可自由拖动,自动保存位置信息。百度地图上可以鼠标单击获取经纬度信息,用来更新设备位置。
- 视频监控面板窗体中任意通道支持拖曳交换,瞬间响应。
- 封装了百度地图,视图切换,运动轨迹,设备点位,鼠标按下获取经纬度等。
- 双击节点、拖曳节点、拖曳窗体交换位置等操作,均自动更新保存最后的播放地址,下次软件打开自动应用。
- 右下角音量条控件,失去焦点自动隐藏,音量条带静音图标。
- 支持视频截图,可指定单个或者对所有通道截图,底部小工具栏也有截图按钮。
- 支持超时自动隐藏鼠标指针、自动全屏机制。
- 支持onvif云台控制,可上下左右移动云台摄像机,包括复位和焦距调整等。
- 支持任意onvif摄像机,包括但不限于海康、大华、宇视、天地伟业、华为等。
- 可保存视频,可选定时存储或者单文件存储,可选存储间隔时间。
- 可设置视频流通信方式tcp+udp,可设置视频解码是速度优先、质量优先、均衡等。
- 可设置软件中文名称、英文名称、LOGO图标等。
- 存储的视频文件支持导出到指定目录,支持批量上传到服务器。
特色功能
- 主界面采用停靠窗体模式,各种组件以小模块的形式加入,可自定义任意模块加入。
- 停靠模块可拖动任意位置嵌入和悬浮,支持最大化全屏,支持多屏幕。
- 双重布局文件存储机制,正常模式、全屏模式都对应不同的布局方案,自动切换和保存,比如全屏模式可以突出几个模块透明显示在指定位置,更具科幻感现代化。
- 原创onvif协议机制,采用底层协议解析(udp广播搜索+http请求执行命令)更轻量易懂易学习拓展,不依赖任何第三方组件比如gsoap。
- 原创数据导入导出机制,跨平台不依赖任何组件,瞬间导出数据。
- 内置多个原创组件,宇宙超值超级牛逼,包括数据导入导出组件(导出到xls、pdf、打印)、数据库组件(数据库管理线程、自动清理数据线程、万能分页、数据请求等)、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
- 自定义信息框+错误框+询问框+右下角提示框(包含多种格式)等。
- 精美换肤,高达17套皮肤样式随意更换,所有样式全部统一,包括菜单等。
- 视频控件悬浮条可以自行增加多个按钮,监控界面底部小工具栏也可自行增加按钮。
- 双击摄像机节点自动播放视频,双击节点自动依次添加视频,会自动跳到下一个,双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
- 录像机管理、摄像机管理,可添加删除修改导入导出打印信息,立即应用新的设备信息生成树状列表,不需重启。
- 可选多种内核自由切换,ffmpeg、vlc、mpv等,均可在pro中设置。推荐用ffmpeg,跨平台最多,默认提供好了linux和mac平台上编译好的库。
- 支持硬解码,可设置硬解码类型(qsv、dxva2、d3d11va等)。
- 默认采用opengl绘制视频,超低的CPU资源占用,支持yuyv和nv12两种格式绘制,很牛逼。
- 高度可定制化,用户可以很方便的在此基础上衍生自己的功能,比如增加自定义模块,增加运行模式、机器人监控、无人机监控、挖掘机监控、检察院审判监控等。
- 支持xp、win7、win10、linux、mac、各种国产系统(UOS、中标麒麟、银河麒麟等)、嵌入式linux等系统。
- 注释完整,项目结构清晰,超级详细完整的使用开发手册,精确到每个代码文件的功能说明,不断持续迭代版本。
三、体验地址
- 体验地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_system.zip。
- 国内站点:https://gitee.com/feiyangqingyun
- 国际站点:https://github.com/feiyangqingyun
- 个人主页:
- 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
四、效果图
五、核心代码
void FFmpegThread::run()
{
//计时
QTime time;
while (!stopped) {
//根据标志位执行初始化操作
if (isPlay) {
if (init()) {
//启用保存文件,先关闭文件
if (saveFile) {
if (fileVideo.isOpen()) {
fileVideo.close();
}
if (fileAudio.isOpen()) {
fileAudio.close();
}
//如果存储间隔大于0说明需要定时存储
if (saveInterval > 0) {
fileName = QString("%1/%2.mp4").arg(savePath).arg(STRDATETIME);
emit sig_startSave();
}
if (videoStreamIndex >= 0) {
fileVideo.setFileName(fileName);
fileVideo.open(QFile::WriteOnly);
}
if (audioStreamIndex >= 0) {
fileAudio.setFileName(fileName.replace(QFileInfo(fileName).suffix(), "aac"));
fileAudio.open(QFile::WriteOnly);
}
}
emit receivePlayOk();
} else {
break;
emit receivePlayError();
}
isPlay = false;
continue;
}
if (isPause) {
//这里需要假设正常,暂停期间继续更新时间
lastTime = QDateTime::currentDateTime();
msleep(1);
continue;
}
time.restart();
if (av_read_frame(avFormatContext, avPacket) >= 0) {
//判断当前包是视频还是音频
int packetSize = avPacket->size;
int index = avPacket->stream_index;
if (index == videoStreamIndex) {
//解码视频流
if (hardware == "none") {
avcodec_decode_video2(videoCodec, avFrame2, &frameFinish, avPacket);
} else {
frameFinish = decode_packet(videoCodec, avPacket);
}
if (frameFinish) {
//计数,只有到了设定的帧率才刷新图片
frameCount++;
if (frameCount != interval) {
av_packet_unref(avPacket);
av_freep(avPacket);
msleep(1);
continue;
} else {
frameCount = 0;
}
//保存视频流数据到文件
QMutexLocker lock(&mutex);
if (fileVideo.isOpen()) {
//rtmp视频流需要添加pps sps
#ifndef gcc45
av_bsf_filter(filter, avPacket, avFormatContext->streams[videoStreamIndex]->codecpar);
#endif
fileVideo.write((const char *)avPacket->data, packetSize);
}
//将数据转成一张图片
sws_scale(swsContext, (const uint8_t *const *)avFrame2->data, avFrame2->linesize, 0, videoHeight, avFrame3->data, avFrame3->linesize);
//以下两种方法都可以
//QImage image(avFrame3->data[0], videoWidth, videoHeight, QImage::Format_RGB32);
QImage image((uchar *)buffer, videoWidth, videoHeight, QImage::Format_RGB32);
if (!image.isNull()) {
lastTime = QDateTime::currentDateTime();
emit receiveImage(image);
//计算本地视频文件等待时间
int useTime = time.elapsed();
if (!isRtsp && videoFps > 0) {
//一帧解码用时+固定休眠1毫秒+其他用时1毫秒
int frameTime = useTime + 1 + 1;
//等待时间=1秒钟即1000毫秒-所有帧解码完成用的毫秒数/帧数
sleepTime = (1000 - (videoFps * frameTime)) / videoFps;
//有时候如果图片很大或者解码很难比如h265造成解码一张图片耗时很大可能出现负数
sleepTime = sleepTime < 0 ? 0 : sleepTime;
}
//qDebug() << TIMEMS << image.size() << "useTime" << time.elapsed() << "sleepTime" << sleepTime << "videoFps" << videoFps;
}
msleep(sleepTime);
}
} else if (index == audioStreamIndex) {
//解码音频流,这里暂不处理,以后交给sdl播放
//保存音频流数据到文件
QMutexLocker lock(&mutex);
if (fileAudio.isOpen()) {
//先写入dts头,再写入音频流数据
dtsData[3] = (char)(((2 & 3) << 6) + ((7 + packetSize) >> 11));
dtsData[4] = (char)(((7 + packetSize) & 0x7FF) >> 3);
dtsData[5] = (char)((((7 + packetSize) & 7) << 5) + 0x1F);
fileAudio.write((const char *)dtsData, 7);
fileAudio.write((const char *)avPacket->data, packetSize);
}
}
} else if (!isRtsp) {
//如果不是视频流则说明是视频文件播放完毕
break;
}
av_packet_unref(avPacket);
av_freep(avPacket);
msleep(1);
}
emit sig_stopSave();
//线程结束后释放资源
free();
stopped = false;
isPlay = false;
isPause = false;
emit receivePlayFinsh();
qDebug() << TIMEMS << "stop ffmpeg thread";
}