ffmpeg 图像识别 ffmpeg tutorial

一、前言:

这是一个学习 FFmpeg 的 tutorial 系列。
这个是一个对初学者比较友好的FFmpeg学习教程，作者一步步引导我们实现了一个音视频同步的播放器。

二、源码分析

tutorial01.c 代码分析

这个代码很简单，就是解码一个视频文件，然后把前五帧视频保存为五个后缀格式 .ppm 图片视频

tutorial02.c 代码分析

这个代码是把读取视频文件，然后每解码一帧，马上就用SDL显示出来。

tutorial03.c 代码分析

跟02代码相比，这个添加了播放音频的部分。
FFmpeg负责把音频的从AVPacket解码为AVFrame得到原始数据，
然后SDL通过回调函数，有节奏的取出原始音频数据播放（这个是在一个独立的音频播放线程应该）

tutorial04.c 代码分析

tutorial07.c 代码分析

2.1 整体流程分析：

逻辑还是蛮复杂的 可以这样分析:
总共就两条主线音视频：

• 音频：SDL 通过这个audio_callback(void userdata, Uint8 stream, int len)不断回调获取音频数据，我们就从这里获取音频的AVPacket 并decode到一个audio buffer中，然后SDL中这个audio buffer取出数据播放

decode_thread ：
死循环，不断读取AVPacket ，
并保存到 音频AVPacket队列， 视频AVPacket队列

• 视频：和音频不同，需要一个独立的video_thread 线程， ->在主线程 有一个死循环不断从VideoPicture 数据里面取出数据，然后通过SDL显示死循环不断的从视频的AVPacket取出数据 decode 获取AVFrame ，然后把AVFrame 保存到 一个 全局的 VideoPicture 数组里面

2.2 音视频同步细节详解

音视频同步方式有三种：

• 以音频播放为时钟轴，视频播放参考音频当前播放时间，调整下一帧的播放快慢实现视频同步到音频
  参考tutorial05.c
  关键点三个：
  a.如何正确获取音频已播放时间
  音频以一个恒定的速率不断的播放，获取准确的已播放音频播放时间

音频时间轴：0-》1-》2-》3-》4-》5-》6-》7-》8-》9

1. int audio_decode_frame(VideoState *is, double *pts_ptr) {
2. 
3.  //省略代码
4.  //方法1：通过每一次decode获得的音频数据的字节数除以每一秒音频数据的字节数获得这一次decode的音频时长
5.  //累加这个时长，得出decode的音频最新时间
6.  is->audio_clock += (double)data_size /
7.  (double)(n * is->audio_st->codec->sample_rate);
8. 
9.  //方法2：如果AVPacket的pts有值，则可以通过pts计算 is->audio_clock
10.  if(pkt->pts != AV_NOPTS_VALUE) {
11.  is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;
12. 
13. }
14. 
15. void audio_callback(void *userdata, Uint8 *stream, int len) {
16. 
17.  VideoState *is = (VideoState *)userdata;
18.  int len1, audio_size;
19.  double pts;
20. 
21.  while(len > 0) {
22.  if(is->audio_buf_index >= is->audio_buf_size) {
23.  /* We have already sent all our data; get more */
24.  audio_size = audio_decode_frame(is, &pts);
25.  if(audio_size < 0) {
26.  /* If error, output silence */
27.  is->audio_buf_size = 1024;
28.  memset(is->audio_buf, 0, is->audio_buf_size);
29.  } else {
30.  is->audio_buf_size = audio_size;
31.  }
32.  is->audio_buf_index = 0;
33.  }
34.  len1 = is->audio_buf_size - is->audio_buf_index;
35.  if(len1 > len)
36.  len1 = len;
37.  memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1);
38.  len -= len1;
39.  stream += len1;
40.  is->audio_buf_index += len1;
41.  }
42. }
43. double get_audio_clock(VideoState *is) { 
44.  double pts;
45.  int hw_buf_size, bytes_per_sec, n;
46.  //关键语句 is->audio_clock 代表已经解码的音频的数据最新时间
47.  pts = is->audio_clock; /* maintained in the audio thread */
48.  hw_buf_size = is->audio_buf_size - is->audio_buf_index;
49.  bytes_per_sec = 0;
50.  n = is->audio_st->codec->channels * 2;
51.  if(is->audio_st) {
52.  bytes_per_sec = is->audio_st->codec->sample_rate * n;
53.  }
54.  if(bytes_per_sec) {
55.  //关键语句，音频是解码到了一个buffer里面，其中一部分被SDL取走播放，还有一部分在缓冲区
56.  //已经解码的音频的数据最新时间 不能代表音频已经播放的时间，因为还有一部分解码的音频数据没有被播放
57.  //所以需要减去没有播放的音频的时间，得出准确的音频已经播放时间
58.  pts -= (double)hw_buf_size / bytes_per_sec;
59.  }
60.  return pts;
61. }

b.如何正确设置每一帧视频的解码时间pts

c.如何调整视频播放速度快慢实现和音频的播放速度同步

• 以视频播放为时钟，音频播放参考视频播放时钟，调整下一帧的播放快慢实现视频同步到音频
• 以系统时间为时钟，音频视频同步到系统时钟

2.2.1

（未完待续~）