在视频会议系统的应用中,影响视音频效果的因素主要集中在三个方面:
1)网络的服务质量;
2)MCU和终端的性能;
3)会议室的设计。
一、网络的服务质量(QoS)
目前,视频会议系统常用的网络主要有E1专线和IP两种。E1专线基于电路交换和时分复用技术,能够提供端到端的独享带宽,因此网络本身具有完善的传输质量保障机制。在绝大多数情况下,影响E1专线传输效果的主要因素就是传输设备和传输线路的质量。对于这类因素,我们往往可以通过更换传输设备和降低线路误码率进行改善。
而IP网基于统计复用和分组交换技术,在需要同时传输语音、数据以及视频等多种业务时,其传统的“尽力传递”机制暴露出很多问题,其中最重要的一点就是无法为每一种业务提供端到端的带宽保证,会导致较大的传输延时和抖动。为此,我们必须通过技术手段对IP网进行优化,以减少网络本身对视频会议系统效果的影响。这些技术手段目前已经发展为IP体系中的一个重要分支,就是服务质量(QoS)。
所谓QoS,是指一个网络通过多种技术为某一特定的网络流量提供更好服务的能力,它的主要目的是实现优先权控制,包括带宽、延时、抖动以及丢包等多个方面。几乎所有的网络都可以利用QoS的优势来获得最佳的效率。
QoS技术分为三类,包括尽力而为服务、集成服务、差分服务,其中差分服务应用最广泛。在差分服务中,网络根据每一个数据包的QoS标记对数据包进行分类、排队和管理。这些标记可以是IP地址、TCP端口号或IP数据包中的特定字段。
在实际的网络规划中,就要求网络设备(如路由器)能够借助于复杂的流量管理系统,通过多种技术提供QoS保证机制,根据业务类型划分不同的优先等级,比如语音最优、视频其次、数据最后,然后根据这些优先级别分配网络资源。
对于视频会议而言,为了保证视频业务的带宽,路由器必须能够在通过的IP数据流中识别出视频业务数据包并对其分类,然后再通过拥塞管理机制提供带宽保证和优先传递服务。这样,在网络发生拥塞时,就可以保证语音和视频业务的传输效果了。目前主流路由器厂商均可提供基于分类、标记与拥塞管理的QoS支持。
二、MCU和终端的性能
除了网络应该提供良好的QoS保障机制外,视频会议系统设备本身也应该具有良好的性能才能真正保证会议的效果。这些性能因素包括系统采用的视音频编解码技术、设备的设计结构、设备本身对恶劣网络环境的适应能力以及其他方面。
1、视音频编解码技术
视音频编码技术是视频会议系统的关键技术指标,是影响会议效果的重要因素。目前视频会议系统中用到的视频编码技术主要有H.261、H.263、H.264、MPEG-2、MPEG-4等,音频编码技术主要有G.711、G.722、G.728、G.729、MP3等。
其中,H.264和MPEG-4这两种视频编码技术能够在低带宽下实现高清晰的动态图像效果,而且编码延时小,作为新一代视频编解码标准,其优势非常明显。
AnyChat采用国际领先的视频编码标准H.264(MPEG-4 part 10 AVC /H.264)编码,H.264/AVC 在压缩效率方面有着特殊的表现,一般情况下达到 MPEG-2 及 MPEG-4 简化类压缩效率的大约 2 倍。
H.264具有许多与旧标准不同的新功能,它们一起实现了编码效率的提高。特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。
而在音频编码方面,MP3是一种高效的声音压缩算法,其频响范围在20Hz到20KHz之间,采样频率达到44.1KHz,而且支持双声道编码,因此正在获得越来越广泛的应用。
2、设备的设计结构
早期有很多视频会议系统中的MCU和终端均采用PC作为硬件结构,操作系统则基于Windows。这类设备在编解码性能、包转发效率以及稳定性、安全性等方面均存在很大的局限性,导致会议视音频质量不高、延时较大。
作为专业的会议室型应用,绝大多数视频会议系统现在都选择基于嵌入式设计结构的MCU和终端设备。这主要是因为嵌入式系统指令精简、实时性高,结合专用的编解码DSP,可实现高品质、低延时的视音频信号处理,而且稳定性、安全性也高。
3、设备对恶劣网络环境的适应能力
网络的QoS可以在一定程度上保证视频会议的传输效果,但其作用是很有限的,尤其是在一些较为恶劣的网络环境下。视频会议系统设备本身对恶劣网络环境的适应能力也将对会议效果产生较大的影响。这些适应能力包括IP优先权设置、IP包排序、IP包重复控制、IP包抖动控制、丢包重传以及速率自动调整等。
1)IP优先权(IP Precedence)
在网络规划差分服务方式的QoS技术时,可通过多种匹配手段对进入数据网的业务包进行分类,包括IP地址、IP 优先权(IP Precedence)等。
其中,利用IP包中的IP优先权部分可以对音频、视频和RTCP(Multicast)数据流进行优先级划分。当网络采用IP Precedence进行流量匹配时,可通过视频设备发出的修改过IP Precedence字段信息的视音频包进行入队列处理,以保证视频会议码流的优先传送。
2)IP包排序
通常,网络的尽力传递机制无法保证其转发的数据包的正确次序。对于H.323视频会议系统,如果视频设备按次序接收IP包,将带来错序问题,数据包的丢失或延迟将导致视频图像的冻结或声音的中断或抖动。
可通过视频设备支持IP包排序功能解决该问题,当IP包到达时,视频设备将对其次序进行验证,无序的包被退回,以维护发送给终端用户的音频和视频流的连续性。
3)IP包重复控制
一个IP包经过承载网时可能会产生多个重复的副本,或为了适应恶劣网络环境系统可能采用重传机制时也会产生多个重复的副本,这样将引起视频图像的冻结或声音中断。支持IP包重复控制的视频设备可通过该功能来纠正该错误,以维护发送给终端用户的音频和视频流的连续性。
4)抖动控制
当音频和视频IP包离开发送端时,按照规则的间隔均匀的排列。在通过网络之后,这一均匀的间隔因不同的延时大小而遭到破坏,从而产生抖动。抖动会导致目标终端上音频和视频流的不连贯性。支持抖动控制的视频设备可通过抖动缓存来实现抖动消除,以维护终端用户接收到的音频和视频流的连贯性。
5)丢包重传
当网络拥塞严重时,网络设备(如路由器)会根据缓存大小并配合相关处理机制丢掉一些视频包,视频会议系统中视频包是采用UDP协议进行传输的,而UDP本身没有重传机制,因此会导致接收端出现图像丢帧或马赛克现象。支持丢包重传的视频设备可通过添加丢包检测和重传的机制来保证会议图像的连贯性。
6)自动速率调整技术
在一些恶劣的网络环境下,降低会议码率将有助于提高视音频的连贯性和实际效果。如果视频设备支持动态速率调整技术,可以使终端和MCU能通过检测网络上有利和不利的因素来自动适应网络的容量和性能,通过动态调整视频会议的码率,为终端用户提供尽可能好的视频质量。
视频设备的自适应带宽调整功能主要是通过检测数据包丢失率来实现的。如果终端检测到数据包丢失率超过了指定的阀值,它将自动降低视频会议码率,同时通知其它参会终端做相同的动作,从而提供一个具有最优视音频效果的会议码率。
7)唇音同步技术
视频会议系统中视频信号和音频信号是分别编码、分别传输的,由于IP优先级和视音频包大小等因素的影响,会使视音频的同步包到达顺序不同,引起唇音不同步。
影响唇音不同步主要有两种因素:网络传输时延和视音频处理时延不同。
当音频和视频包离开发送端时,音频包与对应的视频包保持同步。但是,在通过承载网时,各种队列算法会对音频资料包和视频资料包进行不同的处理。这将打乱音频资料包与相应的视频资料包的同步关系。最终的结果导致声音与口型失去同步。支持唇音同步的视频设备可通过使用IP包中的RTP时间戳信息来纠正这一问题。利用RTP时间戳,设备能够确定哪一音频包与哪一视频包对应。进一步重新调整相应的视音频包,以保证声音与口型的同步。
在发送端,处理音频所花费的时间不同于处理视频所花费的时间。影响这一问题的因素包括声速与光速的不同、房间的大小和形状、音频和视频编码的算法的复杂性。为了避免时间差,支持唇音同步的设备可通过在音频流的出发点增加一定的延迟,以获得声音与口型的同步;也可在接收端增加或减少音频延迟,以纠正发送端不恰当的延迟设置。这样就保证远程会场在接收视频会议声音和图像时,实现唇音同步。
AnyChat音视频互动开发平台(SDK)包含了音视频处理模块(采集、编解码)、流媒体管理模块(丢包重传、抖动平滑、动态缓冲)、流媒体播放模块(多路混音、音视频同步)以及P2P网络模块(NAT穿透、UPnP支持)等多个子模块,封装了底层的硬件操作(音视频采集、播放)、封装了流媒体处理(编解码、网络传输)等非常专业和复杂的技术,为上层应用提供简单的API控制接口,可以在极短的开发周期,以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。
4、音频处理技术
1)自动回声抑制
召开多点视频会议时,每一个会场的声音编码器都将音频包向MCU传输,而MCU将发言会场的音频包向所有其他会场广播,当视频会议终端接收音频包时,将解码后的音频流与本地输入的音频流进行电平比较,去掉相同的部分,这样本地的声音就不会在自己的会场扬声器传出,引起音频的振荡,从而避免回声。
佰锐科技技术人员长期致力于语音技术的研发,在回音消除技术领域不断的优化与创新,拥用国内屈指可数,为数不多的音频技术研发团队。
2)自动增益控制
由于优先视频会议使全向式麦克风,放置在会场的中心位置,这样每一个发言人由于距离麦克风的位置不同,麦克风接受到的电平也不同。
为了保证传向远程的音频电平的平稳,在进行编码时要进行音频的增益处理,以保证一定范围内的发言人以同一个音调发言,这样远程会场的声音就不会忽高忽低。
3)背景噪音消除
召开会议时不可避免地会有一些环境噪音,例如空调、风扇、交流电等电器设备持续发出的环境噪音,这些声音严重的影响了会议的音频质量。
自动噪声抑制系统会根据音频的高低、持续情况,判断是否为环境噪音,并且进行处理,以达到良好的声音会议效果。
三、会议室的设计
会议室的设计也是影响视频会议效果的重要因素之一,包括会场设备、会场布局、会场环境等。会议室的设计涉及的内容非常广泛,限于篇幅,我们下面仅列出部分因素及建议。
会场设备包括摄像机、电视机、话筒以及音响系统等具体的视音频信号输入、输出设备。结合不同的会场布局和装修条件,这些设备在配置上都应该有所差异,才能真正保证会议效果。比如,会场的扩声系统必须与会场布局进行很好的配合才能真正保证其效果,专业的扩声系统设计依赖于复杂的声场测试与反复调试过程。
会场布局包括总体设计、会场面积、会场装修等:
1)会场的总体设计要能逼真地反映现场人物和景物,使与会者有临场感,以达到视觉与语言信息交流的良好效果,会议室中传送的图像包括人物、景象、图表、文字等,应当清晰可辨;
2)会场的面积建议按平均每人2.2平方米计算;
3)为了防止颜色对人物摄像产生的“夺光”及“反光”效应,故背景墙应具有均匀的浅颜色,通常多采用米色或灰色,以使摄像机镜头光圈设置合适,而房间的其他三面墙壁、地板、天花板等均忌用黑或鲜艳色彩的饱和色,通常采用浅蓝色、浅灰色等,每面墙都不适宜用复杂的图案话或挂复杂的画幅,以免摄像机移动或变焦时图像产生模糊现象,并增加编码开销;
4)会议桌布置采用排式。为减少面部阴影,要求采用浅色桌面或桌布,在麦克风和桌面之间最好加一层软性材料,以免造成敲击桌面时造成太大的响动;
5)尽量采用舒适的椅子,同时椅子不要装小脚轮,限制移动,以防止离开镜头;
6)为了保证声绝缘,地上应铺上地毯,天花板应装消音板,四周墙壁应装隔音毯,窗子应安装双层玻璃,桌子铺上桌布;
7)灯光照度是视频会议会议室的一个基本的必要条件,由于电视会议召开时间具有随机性,故室内应用人工冷光源避免自然光。会议室的门窗需用深色窗帘遮挡。光源对人眼视觉无不良影响。选择三基色灯(色温3500K)较为适宜。
会场环境包括室内环境和周围环境:
1)会议室内应安装空调,以创造稳定的温度、湿度环境,空调的噪声应该比较低,如室内空调噪声过大,就会大大影响该会场的音频效果。会议室内空气应流通;
2)会议室应设置在远离外界嘈杂、喧哗的位置。会议室的设置应符合防止泄密,便于使用和尽量减少外来噪声干扰的要求。