前言

随着移动设备的普及和4G网络建设的全面铺开，短视频和直播行业日益火爆，其代表应用抖音、头条更是火遍大江南北，逐渐成为家喻户晓的国民APP。各大厂商也纷纷入局短视频赛道，推动音视频人才的需求的高涨，这对于开发人员来说是一次难得的机遇。
笔者是一名Android APP开发工程师，一直用Java开发，因为工作需要，开始转做音视频开发。希望能通过这一系列文章，将自己的学习路径记录并分享出来，对大家有帮助。

文章适合对象

对音视频感兴趣却又不知道从何入手的开发人员，如果你已经是音视频方面的大牛，那么请忽略我的文章

直播服务架构

Android有哪些直播框架 安卓直播框架_ffmpeg


本系列文章的所有内容都是围绕上图展开。相信大家或多或少都接触过网络直播，对直播业务都有一定了解：主播通过手机或PC开播，观众通过终端设备进入房间观看直播。直播业务由三大要素组成：主播、服务器、观众，对应上图的发送端、服务器、接收端，其中发送端的行为是自底向上的，接收端的行为是自顶向下的。

发送端

  • 1.主播通过设备的麦克风采集原始音频数据（pcm格式），摄像头采集原始视频数据（yuv格式）
  • 2.通过编解码工具（如MediaCodec-硬编，ffmpeg-软编）将原始音频、视频数据分别转换成aac和h264格式
  • 3.通过混合器提取音视频数据中的轨道并封装成flv格式
  • 4.将flv数据包裹上rtmp协议头并将数据发送到服务器

接收端

  • 1.观众通过客户端设备进入房间，播放器通过rtmp协议向服务器拉取视频数据流
  • 2.用rtmp协议解析数据流，得到flv格式的数据流
  • 3.播放器将flv格式数据解析成音视频数据流（aac，h264）
  • 4.通过编解码工具将aac和h264解码成原始的音视频数据
  • 5.调用设备的扬声器播放音频数据，显卡渲染视频数据并在屏幕上显示

最终目标

通过这一系列文章，掌握音视频开发必备的知识，并通过自己搭建一套直播服务（Android客户端+服务端）来运用学到的知识