Faceware专注于面部跟踪的包括硬件和软件的解决方案。Faceware将在洛杉矶的SIGGRAPH2019展会上展示一些令人惊叹的新演示,该公司最近开始使用深度学习提供更准确的解决方案。

android facedetector 动态捕捉人脸 安卓 面部捕捉_面部捕捉技术

Faceware Technologies成立于2012年,是面部跟踪和模拟公司ImageMetrics的一部分。它旨在满足游戏,电影,电视和娱乐行业专业动画师的需求。Faceware面部动作捕捉产品系列已被用于制作数百种影片和电影,它是面向DNEG,DigitalDomain,BlurStudios,Activision-Blizzard,RockstarGames,Microsoft,ElectronicArts等客户的面部解决方案提供商。育碧,世嘉,索尼,运动理论和MPC。

Faceware为面部捕捉提供了一系列软件和硬件解决方案。

Faceware的产品包括Faceware Indie和MkIIIHeadcam Capture Systems;

Faceware Analyzer,允许客户分析和处理自己的表演视频;

Faceware Retargeter,一个Autodesk插件,允许用户以比传统方法快得多的速度创建面部动作捕捉数据;

Faceware Live,实时面部捕捉和动画解决方案Glassbox还为UE4提供了一个实时客户端。

android facedetector 动态捕捉人脸 安卓 面部捕捉_数据_02

android facedetector 动态捕捉人脸 安卓 面部捕捉_面部捕捉技术_03

我们的Maya和3Dstudio Max和MotionBuilder插件现在集成了大约两年的深度学习研究,利用我们专有的数据集来专门进行一些动画改进”,Busch说。

Analyzer 3.8和Retargeter5.8的最新版本使用深度学习技术整合了近2年的研究和开发成果。它使用了特定面部捕捉图像的专有数据集。他们的研究注释并使用了近300万幅图像的合成数据的目标子集,从头开始重新构建他们精确制作颌动画的方法。这种深度学习技术不会对工作流程产生任何影响,并通过Faceware正常的RetargeterAutoSolve功能进行部署,为用户提供了一个更好的起点,可以从中开始设置面部表演动画。下颌定位和动画对于唇形同步至关重要,这是面部捕捉中最难解决的问题之一。

Faceware收集了大约四分之三的特定于面部捕捉的图像。他们不使用图像序列中的每一帧,“我们只需要从镜头中收集关键的采样数据”Busch解释说。并非Faceware的所有用户都选择加入,但已经足够,他们会在18个月内提交采样资料。“这是成千上万个不同主题的数据片段,”他补充道。“然后在每个主题片段中你可能会得到20到200个不同表达的主题”。由于深度学习需要大量的培训数据和各种各样的广泛的例子,公司能够在他们的下巴估计器上获得很好的结果。

Faceware还于去年年底推出了封闭式Beta版Shepherd动作捕捉同步软件。该软件可自动化Faceware的Mk III头部摄像头录制,并与行业身体动作捕捉系统(如Vicon和Optitrack)集成,以在Windows PC和平板电脑上同步面部和身体mocap录制。

“在大多数mocap录制会话中,运营商正在使用一个用于身体mocap的软件包,另一个用于面部mocap。这为您的操作员增加了许多复杂性和大量工作,“PeterBusch说。“Shepherd同步工作室的面部和身体mocap管道,提供更统一,简洁和自动化的动作捕捉过程 - 这是我们用户的关键举措。”

Shepherd使面部动作捕捉操作员能够控制多个视频记录设备的记录和回放。Shepherd无需手动跟踪拍摄号码,文件名和录制时间,从而简化了动作捕捉拍摄。由于Shepherd能够在身体系统的方向上启动和停止面部记录,因此面部动作捕捉操作员能够更好地专注于演员的表现,而不是管理技术。Shepherd目前连接到Vicon和Optitrackmocap系统(将有更多集成),以提供与身体动作捕捉录音同步的面部动作捕捉录音。

android facedetector 动态捕捉人脸 安卓 面部捕捉_解决方案_04