如何降低带宽成本

前言

众所周知,速度是决定一个网站用户体验度的重要因素,而带宽又是决定主机访问速度的重要因素,尤其是对于访问量较大的网站而言,所以如何降低网络带宽的成本就显得额外重要。

互联网公司的带宽成本

以百度、爱奇艺、斗鱼直播为例,我们可以看到带宽成本是非常高的。

  • 百度:2017年第一季度,其带宽成本为13.66亿元(2017百度第一财季未经审计财报)
  • 爱奇艺:2017年,带宽成本 21.9亿元(2017年爱奇艺财报)
  • 斗鱼直播:其带宽成本为3亿元/月(据业内人士分析估算)

降低带宽成本的技术方案

随着技术日新月异的发展,目前能够有效降低带宽成本的技术有如下4点:

  • P2P CDN
  • H.265编码技术
  • 窄带高清
  • 采用 WebP 图片格式
1 P2P CDN
1.1 概念

P2P 内容分发网络(英文名:P2P CDN,以下简称PCDN)是以P2P技术为基础,通过挖掘利用电信边缘网络海量碎片化闲置资源而构建的低成本高品质内容分发网络服务。

1.2 原理

斗鱼带宽架构 斗鱼带宽费用_EduSoho

1.3 特点

PCDN 是 P2P 技术 与 CDN 技术融合互补。这样的数据传输方式能降低整个内容分发网络的成本,降幅相比自建节点 CDN 可以降低 50%以上。

  • 通过大量的 P2P 节点来对客户数据进行低成本高质量的内容分发。
  • 依靠 CDN 技术补足部分丢失数据。
1.4 适用业务场景
  • 视频点播
  • 直播
  • 大文件下载
1.5 优势
1.5.1 高性价比
通过P2P技术可为客户提供更低成本的内容分发服务,(以峰值带宽计价)为云CDN价格的1/2,为传统CDN价格的1/4,可显著降低客户的分发成本。

斗鱼带宽架构 斗鱼带宽费用_斗鱼带宽架构_02

1.5.2 质量好
  • CDN+P2P多级节点调度,一个请求可由CDN和多个P2P源同时提供内容;
  • 通过资源冗余提高了服务可用性,播放流畅率高于纯 CDN ,在大文件下载场景中更是能极大提高下载速度;
  • 通过调用海量分布式P2P节点,平均播放流畅率 > 97%,平均首播时间小于1秒,用户体验得到有效提升。
1.5.3 成熟稳定

PCDN 多年为优酷土豆提供优质的视频播放、下载等加速服务,接入带宽超10T,经历了海量用户规模的长时间验证。拥有内网穿透、缓存处理、种子管理、传输策略等各方面的核心技术和专利。

2 H.265 编码技术
2.1 概念
H.265(HEVC,High Efficiency Video Coding,高效率视频编码)

视频编码:指通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式。常见的音视频编码有MPEG系列与H.26X系列。

现有视频编码标准 H.264

H.264,是由视频编解码技术的组织国际电联(ITU-T)视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT)提出的高度压缩数字视频编解码器标准,是现有视频编码标准。

2.2 优势

H.265作为新一代视频编码技术,以H.264为基础,使用转换尺寸、预测单元、去块化、并行处理等新技术进行优化,如码流、编码质量、延时等,提高压缩效率、增强鲁棒性和错误恢复能力、减少实时的时延、降低复杂度等。

斗鱼带宽架构 斗鱼带宽费用_视频编码_03


H.265 与 H.264 流量比较

H.265 能在有限带宽下传输更高质量的网络视频。传输相同质量的视频,H.265 编码技术只需 H.264 编码技术一半的带宽。
2.3 存在的不足
2.3.1 黑暗区域和噪声/纹理处理的缺陷

当处理黑暗区域的慢动态和噪声/纹理两种问题时,黑暗区域和噪声/纹理要求更精确的高频保留和更小的色阶变化,H.265 的优势会变成弱势。

2.3.2 硬件问题

H.265虽然可以减少占用带宽,但却增加了硬件的性能消耗。这就要求不管前端还是后端,都必须有一个高性能的硬件处理 H.265 的编码、译码等问题。

3 窄带高清
3.1 概念

窄带高清代表的是一种成本与体验最合理配置、最佳性价比的视频服务理念,由又拍云团队自主研发。

  • 体验方面:用户在观看视频时会受到片源清晰度、分辨率、码率、帧率、编码算法、播放策略等影响。窄带高清会从这些角度实时的智能优化视频 码率,从而提高观众观看体验。
  • 成本放面:影响成本的因素包括码率、分发策略和播放策略。窄带高清即可从 码率 这个方面完成优化,节约成本。
3.2 特点

在不改变视频主观质量的情况下,通过改变码率来降低视频播放的带宽成本。

3.3 窄带高清实现流程
3.3.1 场景划分

通过视频内容复杂度分析,获取场景信息,继而确定视频对应的编码场景。划分的较为典型的场景如下。

  • 手机拍摄视频场景
  • 动画场景
  • 商业动作大片场景
  • 影视剧场景
  • 在线教育场景
  • 综艺节目场景
3.3.2 码率控制算法

又拍云团队 采用的是 VBR(Variable Bit Rate) 可变码率算法。视频运动缓慢的时候,使用低码率。视频运动剧烈时,使用更高的码率。这样的话,在主观质量情况下,总体降低了视频文件的大小。

3.3.3 视频编码器优化

视频编码标准的方式有很多,例如较为通用的H.264,更为先进的H.265VP9。不管选择哪种编码,都需要调整编辑器参数,寻找最优的组合,从而辅助码率控制算法,最终得到最优的视频效果。

斗鱼带宽架构 斗鱼带宽费用_图片格式_04


左为源视频,右为窄带高清

4 采用 WebP 图片格式

不管是 PC 还是移动端,图片一直是流量大头。以京东为例,不管是在首页还是频道页,商品图片、广告图片占据了大部分的流量。

4.1 概念

WebP 格式,由 Google 于2010年推出的新一代图片格式,旨在加快图片加载速度,在压缩方面比当前JPEG格式更优越,图片压缩体积大约只有JPEG的2/3,并能节省大量的服务器宽带资源和数据空间。

4.2 特点

WebP 是一种支持 有损压缩无损压缩的图片文件格式,压缩方面的性能优越。Google 测试压缩 pngWebP 格式图片效果如下图所示。

斗鱼带宽架构 斗鱼带宽费用_图片格式_05

4.3 存在的坑点
4.3.1 编码时间较长

WebP 格式图像的编码时间比 JPEG 格式图像长 8 倍

4.3.2 浏览器兼容性问题

就目前来说,WebP 没有被广泛使用的主要原因是浏览器兼容性问题。图中绿色表示支持 WebP, 红色表示不支持,另外一个颜色表示局部支持。

斗鱼带宽架构 斗鱼带宽费用_码率_06

WebP 浏览器兼容性查看网址

4.3.3 解决兼容性问题方式 —— WebP自适应(又拍云推出)

通用 HTTP Accep头 来判断设备是否支持 WebP

  • 如果判定设备支持 WebP 才会从节点返回 WebP 图片格式的副本进行缓存。
  • 设备不支持WebP时,会选择返回原图。

这样达到了节约带宽和提升加载速度的目的。

总结

在过去几年里,各大互联网公司在降低带宽成本方面研究算是下足了功夫,笔者认为,做的非常出色的当属:阿里云又拍云。他们已经拥有了相对成熟的方案以及多年的实践经验。相信在不远的将来,这些技术将会普及到各个大小企业,让企业的网络带宽成本降低的同时能让用户的得到最好的体验。

EduSoho官方开发文档地址

EduSoho官网 https://www.edusoho.com/ EduSoho开源地址 https://github.com/edusoho/edusoho