文章目录







安卓直播推流专栏博客总结


​​​Android RTMP 直播推流技术专栏​​ :​



​0 . 资源和源码地址 :​


​1. 搭建 RTMP 服务器 :​ ​下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;​

​2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :​

​3. 讲解 RTMP 数据包封装格式 :​

​4. 图像数据采集 :​ ​从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;​

​5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :​

​6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :​

​7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;​

​8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :​

​9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;​

​10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :​

​11. 解析 AAC 音频格式 :​

​12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :​





​Android 直播推流流程 :​ 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;



​视频推流 :​ 之前的一系列博客中完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;



​音频推流 :​ 开始进行音频直播推流操作 , 先采集音频 , 将音频编码为 AAC 格式 , 将编码后的音频打包成 RTMP 包 , 然后推流到服务器中 ;






一、 AAC 音频格式解析


​1 . AAC 音频文件格式 :​



​① ADIF 格式 :​ 音频数据交换格式 ( Audio Data Interchange Format ) , 只有一份音频解码信息 , 存储在文件开头 , 这种格式适合存储音频文件 , 节省空间 , 但是必须从开始播放才可以 , 从中间位置无法播放 ;

​② ADTS 格式 :​ 音频数据传输流格式 ( Audio Data Transport Stream ) , 每隔一段音频数据 , 就会有一份音频解码信息 , 这种格式适合音频流传输 , 可以在任何位置开始解码播放 ;



​2 . 推流数据分析 :​ 当前的需求是需要将 FAAC 编码后的 AAC 数据推流到 RTMP 服务器中 , 推流时 , 需要推流的 AAC 格式不是上述两种格式 , 而是纯 AAC 裸数据 ;



​3 . 音频帧数据必须完整 :​ 音频帧与视频帧存储机制不同 , 视频帧分为关键帧和非关键帧 , 音频采样都是关键帧 , 少一个采样都会有问题产生 , 如电流 , 卡顿等问题 ;






二、 FLV 音频数据标签解析




1. 分析 FLV 格式中的 AAC 音频格式数据



​分析 FLV 格式中的 AAC 音频格式数据 :​ 下图中的第 2 2 2 个音频数据标签 , 存储了音频特殊配置 , 之后的 AAC 音频数据标签都是普通的音频采样数据 ;



​① 视频解码数据配置 :​ 视频的第一个视频标签数据是 H.264 , AVC 序列头数据 ( H.264 : AVC Sequence Header ) , 指导后续视频帧如何解码 ;

​② 音频解码数据配置 :​ 音频的第一个音频标签数据是 AAC , 音频特殊配置数据 ( AAC : Audio Specific config ) , 指导后续音频采样如何解码 ;

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )_Android




2. AAC 音频特殊配置



​打开第 2 2 2 个音频数据标签 :​ 内容如下 , 这是完整的音频标签数据 ;

0x000001bf  :   08 00 00 07 00 00 00 00 
0x000001c7  :   00 00 00 AF 00 12 10 56 
0x000001cf  :   E5 00 00 00 00 12

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )_AAC_02




3. AAC 音频数据标签



​AAC 音频数据标签 :​ 该标签中封装实际的音频采样 , AAC 格式的 ;

0x00017494  :   08 00 00 13 00 00 85 00 
0x0001749c  :   00 00 00 AF 01 21 1A 93 
0x000174a4  :   40 7D 6B 94 64 A0 9A 03 
0x000174ac  :   EB 5C A3 25 05 C0 00 00 
0x000174b4  :   00 1E

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )_FLV_03






三、 FLV 音频数据标签头


​音频标签数据标签头解析 :​ 前 11 个字节时标签头信息 ; 这 11 11 11 个字节仅做参考 , 在 RTMP 中是不封装这个标签头的 ;

0x000001bf  :   08 00 00 07 00 00 00 00 
0x000001c7  :   00 00 00



​① 标签类型 ( tag type ) :​ 1 1 1 字节 , 索引区间 [ 0 ] [0] [0] , 08 代表音频 , 09 代表视频 , 12 代表脚本信息 , 这里是 08 , 代表音频数据 ;

​② 标签数据大小 ( data size ) :​ 3 3 3 字节 , 索引区间 [ 1 , 3 ] [1,3] [1,3] , 除了包头之外的数据大小 , 包头一般是 11 11 11 字节, 整个标签大小是该 标签数据大小 ( data size ) + 11 , 本标签的数据大小是 7 7 7 字节, 总的数据大小是 18 18 18 字节, 十六进制对应 0x 12 12 12

​③ 时间戳 ( time stamp ) :​ 3 3 3 字节 , 索引区间 [ 4 , 6 ] [4,6] [4,6] , 表示从开始播放到当前时刻的播放时间 , 单位毫秒 , 也就是当前标签的时间与第一个标签时间的差值 ; 一般是 00 00 00 ;

​④ 时间戳扩展位 ( time stamp ext ) :​ 1 1 1 字节 , 索引区间 [ 7 ] [7] [7] , 如果时间戳较大 , 3 3 3 位装不下 , 扩展一位 ; 一般是 00 ;

​⑤ 流编号 ( stream id ) :​ 3 3 3 字节 , 索引区间 [ 8 , 10 ] [8,10] [8,10] , 一般都是 00 00 00 ;



​组装 RTMP 包的时候 , 是不需要封装标签头的 , 直接将 AAC 裸数据 , 也就是这 7 7 7 个字节封装到 RTMP 包中 ;​






四、 音频解码配置信息




1. AAC 音频数据



​AAC 音频数据 :​ 分为两类 , 解码配置数据, 音频采样数据 ;



​① AAC 格式音频解码配置信息 :​ 下面的 7 7 7 个字节时音频解码配置信息 ;

0x000001bf  :   
0x000001c7  :            AF 00 12 10 56 
0x000001cf  :   E5

​② AAC 音频数据标签数据采样信息 :​

0x0001749c  :            AF 01 21 1A 93 
0x000174a4  :   40 7D 6B 94 64 A0 9A 03 
0x000174ac  :   EB 5C A3 25 05 C0




2. 第 1 1 1 字节 AF 数据解析



​第 1 1 1 字节 AF 数据解析 :​ 前 4 4 4 位表示音频格式 , 之后的 2 2 2 位表示采样率 , 之后的 1 1 1 位表示采样长度 , 最后一位表示音频类型 ;



​① 0xAF 使用二进制表示为 0b‭1010 1111‬ ;​

​② 音频格式 :​ 4 4 4 位 [ 7 : 4 ] : 0b1010 = 10 , 值为 10 , 表示 AAC 格式 ;

​③ 采样率 :​ 2 2 2 位 [ 3 : 2 ] : 0b11 = 3 , 代表 44000 Hz 采样率 , AAC 格式一般都是 44000 采样率

值

采样率

0

5500Hz

1

11000Hz

2

22000Hz

3

44000Hz

​④ 采样位数 :​ 1 1 1 位 [ 1 ] : 0b1 = 1 , 代表采样长度 16 位 ;

值

采样位数

0

8 位 / 1 字节

1

16 位 / 2字节

​⑤ 音频通道 :​ 1 1 1 位 [ 0 ] : 0b1 = 1 , 代表立体声 ;

值

音频通道

0

单声道

1

立体声


​该位一般也就是声道不同 , 其它参数基本都是默认的值 , 立体声 AF , 单声道 AE ;​




3. 音频数据类型



​音频数据类型 :​



​① 音频解码配置信息 :​ 前两位是 AF 00 , 指导 AAC 数据如何解码 ;

​② 音频采样信息 :​ 前两位是 AF 01 , 实际的 AAC 音频采样数据 ;