一、前言
之前用ffmpeg解码出来了音频，只是做了存储部分，比如存储成aac文件，播放的话早期用的是sdl来播放音频，自从Qt5以后提供了QAudioOutput来播放输入的音频数据，就更加方便了，可以直接将解码好的音频数据写入就能播放了，这些就少了个学习sdl的成本，而且和Qt就更加融合，不需要额外的第三方库，解码好的视频，其实就是一张张图片数据，可以直接用QPainter绘制或者QOpenGlWidget通过GPU显示，解码好的音频用QAudioOutput播放，这对于很多初学者来说，是个很好的消息，完美。
音频播放大致的流程如下：
- 初始化格式QAudioFormat，设置对应的属性。
- 初始化一个QAudioOutput音频播放对象。
- 将QAudioOutput启动后的播放设备交给QIODevice。
- 打开音频流后初始化SwrContext用来转换音频数据。
- 循环解码音频数据后调用swr_convert转换音频数据。
- 将转换好的音频数据直接write到QIODevice。
二、功能特点
- 多线程实时播放视频流+本地视频+USB摄像头等。
- 支持windows+linux+mac，支持ffmpeg3和ffmpeg4，支持32位和64位。
- 多线程显示图像，不卡主界面。
- 自动重连网络摄像头。
- 可设置边框大小即偏移量和边框颜色。
- 可设置是否绘制OSD标签即标签文本或图片和标签位置。
- 可设置两种OSD位置和风格。
- 可设置是否保存到文件以及文件名。
- 可直接拖曳文件到ffmpegwidget控件播放。
- 支持h265视频流+rtmp等常见视频流。
- 可暂停播放和继续播放。
- 支持存储单个视频文件和定时存储视频文件。
- 自定义顶部悬浮条，发送单击信号通知，可设置是否启用。
- 可设置画面拉伸填充或者等比例填充。
- 可设置解码是速度优先、质量优先、均衡处理。
- 可对视频进行截图（原始图片）和截屏。
- 录像文件存储支持裸流和MP4文件。
- 支持qsv、dxva2、d3d11va等硬解码。
- 支持opengl绘制视频数据，极低CPU占用。
- 支持嵌入式linux，交叉编译即可。
三、效果图
四、相关站点
- 国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
- 国际站点：https://github.com/feiyangqingyun/QWidgetDemo
- 个人主页：https://blog.51cto.com/u_15246509
- 体验地址：https://blog.51cto.com/u_15246509/2844991
五、核心代码
void FFmpegThread::initAudioDevice(int sampleRate, int sampleSize, int channelCount)
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
QAudioFormat format;
format.setCodec("audio/pcm");
format.setSampleRate(sampleRate);
format.setSampleSize(sampleSize * 8);
format.setChannelCount(channelCount);
format.setSampleType(QAudioFormat::SignedInt);
format.setByteOrder(QAudioFormat::LittleEndian);
QAudioDeviceInfo info(QAudioDeviceInfo::defaultOutputDevice());
audioDeviceOk = info.isFormatSupported(format);
if (audioDeviceOk) {
audioOutput = new QAudioOutput(format);
audioDevice = audioOutput->start();
} else {
qDebug() << TIMEMS << "Raw audio format not supported by backend, cannot play audio.";
}
#endif
}
void FFmpegThread::freeAudioDevice()
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
audioOutput->stop();
audioOutput->deleteLater();
#endif
}
void FFmpegThread::decodeAudio()
{
//没有启用解码音频
if (!playAudio) {
return;
}
//保存音频流数据到文件
saveFileAac();
//设备不正常则不解码
if (!audioDeviceOk) {
return;
}
//解码音频流
frameFinish = avcodec_decode_audio4(audioCtx, audioFrame, &frameFinish, tempPacket);
if (frameFinish) {
int result = swr_convert(audioSwrCtx, &audioData, audioFrame->nb_samples, (const uint8_t **)audioFrame->data, audioFrame->nb_samples);
if (result) {
int outsize = av_samples_get_buffer_size(NULL, audioCtx->channels, audioFrame->nb_samples, AV_SAMPLE_FMT_S16, 0);
audioDevice->write((char *)audioData, outsize);
}
}
}
