【网络通信 -- 直播】流媒体直播基础知识点总结
【1】流媒体的概念
流媒体又叫流式媒体，指采用流式传输的方式在 Internet 播放的媒体格式；如：音频、视频或多媒体文件；(注意，流媒体实际指的是一种新的媒体传送方式，而非一种新的媒体)；流式媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放，在开始时有一些延迟，流媒体实现的关键技术就是流式传输；流式传输方式是将整个 A/V 及 3D 等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送；
【1.1】流式传输
流式传输主要指通过网络传送媒体（如视频、音频）的技术总称；其特定含义为通过 Internet 将影视节目传送到 PC 机；
常用网络协议，http，rtmp，rtsp，rtp/rtcp，udp，tcp；
【1.2】实现流式传输方法
顺序流式传输（progressive streaming）
顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看已下载的部分，而不能跳到还未下载的部分，顺序流式传输无法在传输期间根据用户连接的速度做调整；
服务器 | 文件格式 | 网络协议 |
Nginx，web 服务器 | mp4/flv/mov/mkv/ts/rmvb | http |
顺序流式文件是放在标准 HTTP 或 FTP 服务器上，易于管理，基本上与防火墙无关；由于标准的 HTTP 服务器（nginx，apache，tomcat，iis）可发送这种形式的文件，不需要其他特殊协议，因此经常被称作 HTTP 流式传输；顺序流式传输是一种点播技术，比较适合高质量的短片段，不适合长片段和有随机访问要求的视频，（如 : 讲座、演说与演示）不支持现场广播；
实时流式传输（Realtime streaming）
保证媒体信号带宽与网络连接配匹，使媒体可被实时观看，需要专用的流媒体服务器与传输协议；实时流式传输，适合现场事件，支持随机访问；实时流式传输需要特定流媒体服务器，（如 QuickTime Streaming Server、RealServer、Windows Media Server）；实时流式传输需要特殊网络协议，（如 RTSP，Realtime Streaming Protocol 或 MMS，Microsoft Media Server），这些协议在有防火墙时有时会出现问题，导致用户不能看到一些地点的实时内容；
实时传输相关技术
缓存技术，高速缓存使用环形链表结构存储数据，通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容，通常高速缓存所需容量并不大；
网络协议，在流式传输的实现方案中，一般采用 HTTP/TCP 传输控制信息，而用 RTP/UDP 传输实时音视频数据；
【1.3】流媒体的传输过程
流媒体传输系统框架图示
【1.4】流媒体相关技术
- 1. 智能流技术，自动检测网络状况，并将音视频的属性调整到最佳，使用用户收到与其网络速度相符的媒体流，从而获取最佳的用户体验；
- 2. 分流（splitting）技术，一般只在直播中使用，发送服务器将媒体流发送到分布在各地的多个接收服务器，客户端可以就近访问服务器获得较高质量的媒体流，并减少带宽使用；
- 3. 缓存（caching）技术，解决由于异步网络、网络延迟和抖动导致的数据包错序的问题，数据包先缓存在本地，并且缓存系统使用环形链表结构丢弃掉已经播放的内容从而防止缓存溢出；
- 4. 内容分发网络（CDN）技术，架构在 IP 网络之上的一个内容叠加网，通过引入主动内容管理、全局负载均衡和内容缓存等技术，将用户请求的流媒体内容发布到距离用户最近的网络边缘，从而提高响应速度，减轻骨干网络的压力；
【2】视频的分辨率、帧率、码率以及网络带宽知识点
GOP，多少秒一个 I 帧
码率，编码器每秒编出的数据大小，单位是 Kbps
- 影响体积，与体积成正比，码率越大，体积越大；码率越小，体积越小；“码率” 就是失真度，码率越高越清晰；
帧率，FPS 每秒钟存在多少帧画面
- 影响画面流畅度，与画面流畅度成正比；帧率越大，画面越流畅；帧率越小，画面越有跳动感；
- 如果码率为变量，则帧率也会影响体积，帧率越高，每秒钟经过的画面越多，需要的码率也越高，体积也越大；
分辨率，单位英寸中所包含的像素点数
- 影响图像大小，与图像大小成正比；分辨率越高，图像越大；分辨率越低，图像越小；
清晰度
- 在码率一定的情况下，分辨率与清晰度成反比关系，分辨率越高，图像越不清晰，分辨率越低，图像越清晰
- 在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰
