1、虚拟现实技术及其特征
虚拟现实是一种由计算机和电子技术创造的新世界,是一个看似真实的模拟环境,通过多种传感设备,用户可根据自身的感觉,使用人的自然技能对虚拟世界中的物体进行考察和操作,参与其中的事件,同时提供视、听、触等直观而又自然的实时感知,并使参与者“沉浸”于模拟环境中。
虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入做出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。常用的有立体头盔、数据手套、三维鼠标、数据衣等穿戴于用户身上的装置和设置于现实环境中的传感装置,如摄像机、地板压力传感器等。
VR具有以下四个重要特征:
① 多感知性。指除一般计算机所具有的视觉感知外,还有听觉感知、触觉感知、运动感知,甚至还包括味觉、嗅觉、感知等。理想的虚拟现实应该具有一切人所具有的感知功能。
② 存在感。指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难辨真假的程度。
③ 交互性。指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。
④ 自主性。指虚拟环境中的物体依据现实世界物理运动定律动作的程度。
虚拟现实的关键技术主要包括:动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术、应用系统开发工具、系统集成技术。
2、国外虚拟现实技术的研究现状
2.1 美国
美国是VR技术的发源地。美国VR研究技术的水平基本上就代表国际VR发展的水平。目前美国在该领域的基础研究主要集中在感知、用户界面、后台软件和硬件四个方面。
美国宇航局的Ames实验室:将数据手套工程化,使其成为可用性较高的产品。在约翰逊空间中心完成空间站操纵的实时仿真。大量运用了面向座舱的飞行模拟技术。对哈勃太空望远镜的仿真。现在正致力于一个叫“虚拟行星探索”(VPE)的试验计划。现在NASA己经建立了航空、卫星维护VR训练系统,空间站VR训练系统,并且已经建立了可供全国使用的VR教育系统。
北卡罗来纳大学(UNC)的计算机系是进行VR研究最早最著名的大学。他们主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等。
Loma Linda大学医学中心的David Warner博士和他的研究小组成功地将计算机图形及VR的设备用于探讨与神经疾病相关的问题,首创了VR儿科治疗法。
麻省理工学院(MIT)是研究人工智能、机器人和计算机图形学及动画的先锋,这些技术都是VR技术的基础,1985年MIT成立了媒体实验室,进行虚拟环境的正规研究。
SRI研究中心建立了“视觉感知计划”,研究现有VR技术的进一步发展。1991年后,SRI进行了利用VR技术对军用飞机或车辆驾驶的训练研究,试图通过仿真来减少飞行事故。
华盛顿大学华盛顿技术中心的人机界面技术实验室(HIT Lab)将VR研究引入了教育、设计、娱乐和制造领域。伊利诺斯州立大学研制出在车辆设计中支持远程协作的分布式VR系统。
乔治梅森大学研制出一套在动态虚拟环境中的流体实时仿真系统。从90年代初起,美国率先将虚拟现实技术用于军事领域,主要用于以下四个方面:一是虚拟战场环境。二是进行单兵模拟训练。三是实施诸军兵种联合演习。四是进行指挥员训练。
2.2 欧洲
在欧洲,英国在VR开发的某些方面,特别是在分布并行处理、辅助设备(包括触觉反馈)设计和应用研究方面,在欧洲来说是领先的。英国Bristol公司发现,VR应用的交点应集中在整体综合技术上,他们在软件和硬件的某些领域处于领先地位。英国ARRL公司关于远地呈现的研究实验,主要包括VR重构问题。他们的产品还包括建筑和科学可视化计算。
欧洲其它一些较发达的国家如:荷兰、德国、瑞典等也积极进行了VR的研究与应用。
瑞典的DIVE分布式虚拟交互环境,是一个基于Unix的,不同节点上的多个进程可以在同一世界中工作的异质分布式系统。
荷兰海牙TNO研究所的物理电子实验室(TNO-PEL)开发的训练和模拟系统,通过改进人机界面来改善现有模拟系统,以使用户完全介入模拟环境。
德国在VR的应用方面取得了出乎意料的成果。在改造传统产业方面,一是用于产品设计、降低成本,避免新产品开发的风险;二是产品演示,吸引客户争取定单;三是用于培训,在新生产设备投入使用前用虚拟工厂来提高工人的操作水平。
2008年10月27-29日在法国举行的ACM Symposium on Virtual Reality Software and Technology大会,整体上促进了虚拟现实技术的深入发展。
2.3 亚洲
在亚洲,日本虚拟现实技术研究发展十分迅速,同时韩国、新加坡等国家也在积极开展虚拟现实技术方面的研究工作。
在当前实用虚拟现实技术的研究与开发中日本是居于领先地位的国家之一,主要致力于建立大规模VR知识库的研究。另外在虚拟现实的游戏方面的研究也做了很多工作。
东京技术学院精密和智能实验室研究了一个用于建立三维模型的人性化界面。
NEC公司开发了一种虚拟现实系统,它能让操作者都使用“代用手”去处理三维CAD中的形体模型,该系统通过数据手套把对模型的处理与操作者手的运动联系起来。
京都的先进电子通信研究所(ATR)正在开发一套系统,它能用图像处理来识别手势和面部表情,并把它们作为系统输入。
日本国际工业和商业部产品科学研究院开发了一种采用X、Y记录器的受力反馈装置。
东京大学的高级科学研究中心将他们的研究重点放在远程控制方面,最近的研究项目是主从系统。该系统可以使用户控制远程摄像系统和一个模拟人手的随动机械人手臂。
东京大学原岛研究室开展了3项研究:人类面都表情特征的提取、三维结构的判定和三维形状的表示、动态图像的提取。
东京大学广濑研究室重点研究虚拟现实的可视化问题。为了克服当前显示和交互作用技术的局限性,他们正在开发一种虚拟全息系统。
筑波大学研究一些力反馈显示方法,开发了九自由度的触觉输入器,虚拟行走原型系统。
富士通实验室有限公司正在研究虚拟生物与VR环境的相互作用。他们还在研究虚拟现实中的手势识别,已经开发了一套神经网络姿势识别系统,该系统可以识别姿势,也可以识别表示词的信号语言。
3、国内虚拟现实技术的研究现状
和一些发达国家相比,我国VR技术还有一定的差距,但已引起政府有关部门和科学家们的高度重视。根据我国的国情,制定了开展VR技术的研究。九五规划、国家自然科学基金委、国家高技术研究发展计划等都把VR列入了研究项目。在紧跟国际新技术的同时,国内一些重点院校,已积极投入到了这一领域的研究工作。国内最早开展此项技术试验的是挂靠在西北工业大学电子工程系的西安虚拟现实工程技术研究中心。该中心的成立,对发挥学校电子信息工程学院等其他院系和研究所在虚拟现实、虚拟仿真与虚拟制造等方面的研究优势将具有积极作用。
北京航空航天大学计算机系也是国内最早进行VR研究、最有权威的单位之一,他们首先进行了一些基础知识方面的研究,并着重研究了虚拟环境中物体物理特性的表示与处理;在虚拟现实中的视觉接口方面开发出部分硬件,并提出有关算法及实现方法;实现了分布式虚拟环境网络设计,建立了网上虚拟现实研究论坛,可以提供实时三维动态数据库,提供虚拟现实演示环境,提供用于飞行员训练的虚拟现实系统,提供开发虚拟现实应用系统的开发平台,并将要实现与有关单位的远程连接。
浙江大学CAD&CG国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游系统,采用了层面迭加绘制技术和预消隐技术,实现了立体视觉,同时还提供了方便的交互工具,使整个系统的实时性和画面的真实感都达到了较高的水平。另外,他们还研制出了在虚拟环境中一种新的快速漫游算法和一种递进网格的快速生成算法。
哈尔滨工业大学已经成功地虚拟出了人的高级行为中特定人脸图像的合成,表情的合成和唇动的合成等技术问题,并正在研究人说话时头势和手势动作,话音和语调的同步等。
清华大学计算机科学和技术系对虚拟现实和临场感的方面进行了研究,例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感实验等方面都具有不少独特的方法。他们还针对室内环境水平特征丰富的特点,提出借助图像变换,使立体视觉图像中对应水平特征呈现形状一致性,以利于实现特征匹配,并获取物体三堆结构的新颖算法。
西安交通大学信息工程研究所对虚拟现实中的关键技术——立体显示技术进行了研究。他们在借鉴人类视觉特性的基础上提出了一种基于JPEG标准压缩编码新方案,并获得了较高的压缩比、信噪比以及解压速度,并且己经通过实验结果证明了这种方案的优越性。
中国科技开发院威海分院主要研究虚拟现实中视觉接口技术,完成了虚拟现实中的体视图像对算法回显及软件接口。他们在硬件的开发上己经完成了LCD红外立体眼镜,并且已经实现商品化。
北方工业大学CAD研究中心是我国最早开展计算机动画研究的单位之一,中国第一部完全用计算机动画技术制作的科教片《相似》就出自该中心。关于虚拟现实的研究已经完成了2个“863”项目,完成了体视动画的自动生成部分算法与合成软件处理,完成了VR图像处理与演示系统的多媒体平台及相关的音频资料库,制作了一些相关的体视动画光盘。
另外,北京邮电大学自动化学院、西北工业大学CAD/CAM研究中心、上海交通大学图像处理模式识别研究所,长沙国防科技大学计算机研究所、华东船舶工业学院计算机系、安徽大学电子工程与住处科学系等单位也进行了一些研究工作和尝试。
4、虚拟现实技术的几个瓶颈问题
(1)虚拟环境表示的准确性。为使虚拟环境与客观世界相一致,需要对其中种类繁多、构形复杂的信息做出准确、完备的描述。同时,需要研究高效的建模方法,重建其演化规律以及虚拟对象之间的各种相互关系与相互作用。
(2)虚拟环境感知信息合成的真实性。抽象的信息模型并不能直接为人类所直接感知,这就需要研究虚拟环境的视觉、听觉、力觉和触觉等感知信息的合成方法,重点解决合成信息的高保真性和实时性问题,以提高沉浸感。
(3)人与虚拟环境交互的自然性。合成的感知信息实时地通过界面传递给用户,用户根据感知到的信息对虚拟环境中事件和态势做出分析和判断,并以自然方式实现与虚拟环境的交互。这就需要研究基于非精确信息的多通道人机交互模式和个性化的自然交互技术等,以提高人机交互效率。
(4)实时显示问题。尽管理论上讲能够建立起高度逼真的,实时漫游的VR,但至少现在来讲还达不到这样的水平。这种技术需要强有力的硬件条件的支撑,例如速度极快的图形工作站和三维图形加速卡,但目前即使是最快的图形工作站也不能产生十分逼真,同时又是实时交互的VR。其根本原因是因为引入了用户交互,需要动态生成新的图形时,就不能达到实时要求,从而不得不降低图形的逼真度以减少处理时间,这就是所谓的景物
复杂度问题。
(5)图形生成。图形生成是虚拟现实的重要瓶颈,虚拟现实最重要的特性是人可以在随意变化的交互控制下感受到场景的动态特性,换句话说,虚拟现实系统要求随着人的活动(位置、方向的变化)即时生成相应的图形画面。
(6)智能技术(Artificial Intelligence,简称AI)。在VR中,计算机是从人的各种动作,语言等变化中获得信息,要正确理解这些信息,需要借助于AI技术来解决,如语音识别、图像识别、自然语言理解等,这些智能接口领域的研究课题是VR技术的基础,同时也是VR技术的难点。本质上,上述6个问题的解决使得用户能够身临其境地感知虚拟环境,从而达到探索、认识客观事物的目的。概括地说,围绕着虚拟现实展开的研究都是围绕着这6个基本问题的。
5、虚拟现实技术的未来发展趋势
VR技术的实质是构建一种人为的能与之进行自由交互的“世界”,在这个“世界”中参与者可以实时地探索或移动其中的对象。沉浸式虚拟现实是最理想的追求目标,实现的方式主要是戴上特制的头盔显示器、数据手套以及身体部位跟器,通过听觉、触觉和视觉在虚拟场景中进行体验。可以预测短期内游戏玩家可以戴上头盔身着游戏专用衣服及手套真正体验身临其境的“虚拟现实”游戏空间,它的出现将淘汰现有的各种大型游戏,推动科技的发展。纵观VR的发展历程,未来VR技术的研究仍将延续“低成本、高性能”原则,从软件、硬件两方面展开,发展方向主要归纳如下:
(1)动态环境建模技术。虚拟环境的建立是VR技术的核心内容,动态环境建模技术的目的是获取实际环境的三维数据,并根据需要建立相应的虚拟环境模型。
(2)实时三维图形生成和显示技术。三维图形的生成技术已比较成熟,而关键是怎样“实时生成”,在不降低图形的质量和复杂程度的基础上,如何提高刷新频率将是今后重要的研究内容。此外,VR还依赖于立体显示和传感器技术的发展,现有的虚拟设备还不能满足系统的需要,有必要开发新的三维图形生成和显示技术。
(3)新型交互设备的研制。虚拟现实技术实现人能够自由与虚拟世界对象进行交互,犹如身临其境,借助的输入输出设备主要有头盔显示器、数据手套、数据衣服、三维位置传感器和三维声音产生器等。因此,新型、便宜、鲁棒性优良的数据手套和数据服将成为未来研究的重要方向。
(4)智能化语音虚拟现实建模。虚拟现实建模是一个比较繁复的过程,需要大量的时间和精力。如果将VR技术与智能技术、语音识别技术结合起来,可以很好地解决这个问题。我们对模型的属性、方法和一般特点的描述通过语音识别技术转化成建模所需的数据,然后利用计算机的图形处理技术和人工智能技术进行设计、导航以及评价,将模型用对象表示出来,并且将各种基本模型静态或动态地连接起来,最终形成系统模型。人工智能一直是业界的难题,人工智能在各个领域十分有用,在虚拟世界也大有用武之地,良好的人工智能系统对减少乏味的人工劳动具有非常积极的作用。
(5)分布式虚拟现实技术的展望。分布式虚拟现实是今后虚拟现实技术发展的重要方向。随着众多DVE开发工具及其系统的出现,DVE本身的应用也渗透到各行各业,包括医疗、工程、训练与教学以及协同设计。仿真训练和教学训练是DVE的又一个重要的应用领域,包括虚拟战场、辅助教学等。另外,研究人员还用DVE系统来支持协同设计工作。近年来,随着Internet应用的普及,一些面向Internet的DVE应用使得位于世界各地多个用户可以进行协同工作。将分散的虚拟现实系统或仿真器通过网络联结起来,采用协调一致的结构、标准、协议和数据库,形成一个在时间和空间上互相耦合的虚拟合成环境,参与者可自由地进行交互作用。特别是在航空航天中应用价值极为明显,因为国际空间站的参与国分布在世界不同区域,分布式VR训练环境不需要在各国重建仿真系统,这样不仅减少了研制费和设备费用,减少了人员出差的费用以及异地生活的不适。
6、总结
近几十年来,通信技术、计算机的同步发展和相互促进成为世界上信息技术与产业飞速发展的主要特征。特别是网络技术的迅速崛起与普及,使得信息应用系统在深度和广度上发生了质的变化。虚拟现实主要依靠人机交互的发展,目前技术上已初步解决人脑数据的读取,在不久的将来,开发者将完全解决通过神经系统自动进入虚拟现实环境的“人脑——计算机接口”问题,通过对人脑提取和反馈神经信号使人完全融入“虚拟现实”世界。当然从技术角度,我们应该对基于多用户虚拟环境进行必要的技术研究。因为将来的VR技术将越来越重视人在其中的交互。虚拟现实充满活力、具有无限的应用前景的高新技术领域,但仍然存在许多有待解决与突破的问题。为了提高系统的交互性、逼真性和沉侵性,在新型传感和感知肌理、几何与建模新方法、高性能计算,特别是高速图形图像处理,以及人工智能、心理学、社会学等方面都有许多具有挑战性的问题有待我们进一步解决。
虚拟现实技术是本世纪发展的重要技术之一,作为一门科学和艺术将会不断走向成熟,在各行各业中将得到广泛应用,并发挥神奇的作用,二十一世纪将是虚拟现实技术的时代。