今天分享一下利用qt录制音频，然后再利用ffmpeg推流到nginx服务器，最后再利用vlc进行拉流的demo。
首先介绍一下如何利用qt来进行音频的录制，qt的音频录制主要利用qt的QAudioFormat先进行音频信息的配置。主要需要配置以下的信息：
QAudioFormat fmt;
fmt.setSampleRate(sampleRate);// 采样率， 一秒采集音频样本数量，常设置为44100
fmt.setChannelCount(channels); // 音频通道数
fmt.setSampleSize(16); //一个音频数据大小
fmt.setCodec("audio/pcm"); //编码方式，大多声卡只支持pcm，也可以通过获取参数得到声卡支持参数
fmt.setByteOrder(QAudioFormat::LittleEndian); // 小端 存储还是大端存储
fmt.setSampleType(QAudioFormat::UnSignedInt); // 数据类型，对应的是16位然后使用QAudioDeviceInfo来获取是否支持改设置信息，如果不支持的话就取其最近的配置。
QAudioDeviceInfo info = QAudioDeviceInfo::defaultInputDevice();
if (!info.isFormatSupported(fmt))
{
cout << "Audio format not support!" << endl;
fmt = info.nearestFormat(fmt);
}然后再利用QIODevice开始录制音频，具体的读取方式如下所示。
//一次读取一帧音频 由于这种方式读取不准确，所以仅用来进行判断
if (input->bytesReady() < readSize)
{
QThread::msleep(1);
continue;
}
int size = 0;
while (size != readSize)
{
int len = io->read(buf + size, readSize - size);
if (len < 0)break;
size += len;
}
if (size != readSize)continue;到这里利用qt进行音频的录制就完成了，接下来是利用ffmpeg进行推流，推流的调用的函数和之前视频推流调用的api一致，只是一些参数的配置进行了改变。
由于推流时音频的格式是AV_SAMPLE_FMT_FLTP，与qt采集到的格式AV_SAMPLE_FMT_S16不一致，所以需要对采集到的音频进行重采样。
这边利用的是ffmpeg的api函数来进行重采样，首先需要初始化重采样的上下文，主要利用
swr_alloc_set_opts（）函数，设置参数如下：
SwrContext *asc = NULL;
asc = swr_alloc_set_opts(asc,
av_get_default_channel_layout(channels), AV_SAMPLE_FMT_FLTP, sampleRate, //输出格式
av_get_default_channel_layout(channels), AV_SAMPLE_FMT_S16, sampleRate,//输入格式
0,0);
if (!asc)
{
cout << "swr_alloc_set_opts failed!"<<endl;
getchar();
return -1;
}主要是配置输出和输入的参数，接着利用swr_init（）初始化该上下文。
然后分配好音频重采样的输出空间，配置信息如下：
AVFrame *pcm = av_frame_alloc();
pcm->format = outSampleFmt;
pcm->channels = channels;
pcm->channel_layout = av_get_default_channel_layout(channels);
pcm->nb_samples = 1024;//一帧音频一通道的采样数量
ret = av_frame_get_buffer(pcm, 0); //给pcm分配存储空间
if (ret != 0)
{
char err[1024] = { 0 };
av_strerror(ret, err, sizeof(err) - 1);
cout << err << endl;
getchar();
return -1;
}然后利用swr_convert（）函数进行转化将转化后的数据放入pcm中。
接下来需要对音频的pts进行运算，主要运算如下：
//pts运算
//nb_sample/sample_rate =一帧音频的秒数
//time_base pts=sec * timebase.den
pcm->pts = apts;
apts += av_rescale_q(pcm->nb_samples, {1,sampleRate},ac->time_base);接下来就是对重采样后的音频进行推流，这边与之前视频推流的一致，具体的参数配置可以参考我下面分享的代码：
#include <QtCore/QCoreApplication>
#include <QAudioInput>
#include <QThread>
#include <iostream>
extern "C"
{
#include "libswresample/swresample.h"
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
}
#pragma comment(lib,"avformat.lib")
#pragma comment(lib,"swresample.lib")
#pragma comment(lib,"avutil.lib")
#pragma comment(lib, "avcodec.lib")
using namespace std;
int main(int argc, char *argv[])
{
QCoreApplication a(argc, argv);
//注册所有的编解码器
avcodec_register_all();
//注册所有的封装器
av_register_all();
//注册所有的网络协议
avformat_network_init();
char *outUrl = "rtmp://192.168.198.128/live";
int sampleRate = 44100;
int channels = 2;
int sampleByte = 2;
AVSampleFormat inSampleFmt = AV_SAMPLE_FMT_S16;
AVSampleFormat outSampleFmt = AV_SAMPLE_FMT_FLTP;
///1 qt音频开始录制
QAudioFormat fmt;
//采样频率
fmt.setSampleRate(sampleRate);
//通道数量
fmt.setChannelCount(channels);
//样本大小
fmt.setSampleSize(sampleByte *8);
//格式
fmt.setCodec("audio/pcm");
//字节序
fmt.setByteOrder(QAudioFormat::LittleEndian);
fmt.setSampleType(QAudioFormat::UnSignedInt);
QAudioDeviceInfo info = QAudioDeviceInfo::defaultInputDevice();
if (!info.isFormatSupported(fmt))
{
cout << "Audio format not support!" << endl;
fmt = info.nearestFormat(fmt);
}
cout << "Audio format success" << endl;
QAudioInput *input = new QAudioInput(fmt);
//开始录制音频
QIODevice *io= input->start();
///2 音频重采样
SwrContext *asc = NULL;
asc = swr_alloc_set_opts(asc,
av_get_default_channel_layout(channels), AV_SAMPLE_FMT_FLTP, sampleRate, //输出格式
av_get_default_channel_layout(channels), AV_SAMPLE_FMT_S16, sampleRate,//输入格式
0,0);
if (!asc)
{
cout << "swr_alloc_set_opts failed!"<<endl;
getchar();
return -1;
}
int ret = swr_init(asc);
if (ret != 0)
{
char err[1024] = { 0 };
av_strerror(ret, err, sizeof(err) - 1);
cout << err << endl;
getchar();
return -1;
}
cout << "音频重采样 上下文初始化成功" << endl;
///3 音频重采样输出空间分配
AVFrame *pcm = av_frame_alloc();
pcm->format = outSampleFmt;
pcm->channels = channels;
pcm->channel_layout = av_get_default_channel_layout(channels);
pcm->nb_samples = 1024;//一帧音频一通道的采样数量
ret = av_frame_get_buffer(pcm, 0); //给pcm分配存储空间
if (ret != 0)
{
char err[1024] = { 0 };
av_strerror(ret, err, sizeof(err) - 1);
cout << err << endl;
getchar();
return -1;
}
///4 初始化音频编码器
AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
if (!codec)
{
cout << "avcodec_find_encoder failed!" << endl;
getchar();
return -1;
}
//音频编码器上下文
AVCodecContext *ac = avcodec_alloc_context3(codec);
if (!ac)
{
cout << "avcodec_alloc_context3 failed!" << endl;
getchar();
return -1;
}
cout << "avcodec_alloc_context3 success!" << endl;
ac->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
ac->thread_count = 8;
//音频的参数
ac->bit_rate = 40000;
ac->sample_rate = sampleRate;
ac->sample_fmt = AV_SAMPLE_FMT_FLTP;
ac->channels = channels;
ac->channel_layout = av_get_default_channel_layout(channels);
//打开编码器
ret = avcodec_open2(ac, 0, 0);
if (ret != 0)
{
char err[1024] = { 0 };
av_strerror(ret, err, sizeof(err) - 1);
cout << err << endl;
getchar();
return -1;
}
cout << "avcodec_open2 success!" << endl;
///5 封装器和音频流配置
//a.创建输出封装器上下文
AVFormatContext *ic = NULL;
ret = avformat_alloc_output_context2(&ic, 0, "flv", outUrl);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
cout << buf << endl;
getchar();
return -1;
}
cout << "avformat_alloc_output_context2 success!" << endl;
//b.添加音频流
AVStream *as = avformat_new_stream(ic, NULL);
if (!as)
{
throw exception("avformat_new_stream failed!");
}
cout << "avformat_new_stream success!" << endl;
as->codecpar->codec_tag = 0;
//从编码器复制参数
avcodec_parameters_from_context(as->codecpar, ac);
av_dump_format(ic, 0, outUrl, 1);
///6 打开rtmp的网络输出io
ret = avio_open(&ic->pb, outUrl, AVIO_FLAG_WRITE);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
cout << buf << endl;
getchar();
return -1;
}
//写入封装头
ret = avformat_write_header(ic, NULL);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
cout << buf << endl;
getchar();
return -1;
}
cout << "avformat_write_header success!" << endl;
//一次读取一帧音频的字节数
int readSize = pcm->nb_samples*channels*sampleByte;
char *buf = new char[readSize];
int apts = 0;
AVPacket pkt = {0};
for (;;)
{
//一次读取一帧音频
if (input->bytesReady() < readSize)
{
QThread::msleep(1);
continue;
}
int size = 0;
while (size != readSize)
{
int len = io->read(buf + size, readSize - size);
if (len < 0)break;
size += len;
}
if (size != readSize)continue;
const uint8_t *indata[AV_NUM_DATA_POINTERS] = { 0 };
indata[0] = (uint8_t *)buf;
//已经读取一帧源数据
//重采样数据
int len = swr_convert(asc, pcm->data, pcm->nb_samples,//输出参数,输出存储地址，样本数
indata, pcm->nb_samples
);
//pts运算
//nb_sample/sample_rate =一帧音频的秒数
//time_base pts=sec * timebase.den
pcm->pts = apts;
apts += av_rescale_q(pcm->nb_samples, {1,sampleRate},ac->time_base);
int ret = avcodec_send_frame(ac, pcm);
if (ret != 0)continue;
av_packet_unref(&pkt);
ret = avcodec_receive_packet(ac, &pkt);
cout << "avcodec_receive_packet " << ret << endl;
if (ret != 0)continue;
cout << pkt.size << " " << flush;
//推流
pkt.pts = av_rescale_q(pkt.pts, ac->time_base, as->time_base);
pkt.dts = av_rescale_q(pkt.dts, ac->time_base, as->time_base);
pkt.duration= av_rescale_q(pkt.duration, ac->time_base, as->time_base);
ret = av_interleaved_write_frame(ic, &pkt);
if (ret == 0)
{
cout << "#" << flush;
}
}
delete buf;
getchar();
return a.exec();
}然后在这边做个分享，由于我在第一次在函数 avcodec_receive_packe（）没有接收返回值，所以导致出现dump的情况，根据下面的打印可以发现第一次接收数据的时候返回的是-11，说明从缓存区获取到的数据是有问题的，下面还对其进行推流就会出现错误的情况
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
