说起迪士尼，你会想到什么？
米老鼠、唐老鸭的万年cp？Disney乐园中充斥的粉红泡泡？
谁能想到飞天入地无所不能的漫威英雄们，居然和米老鼠是亲亲一家人。
迪士尼，这位驰骋商场的影视精英，早在2009年拿下了漫威这块肥肉。钢铁侠等5000多个漫画角色都被收购至其麾下。
当《复联4》赚足全球观众的眼泪时，迪士尼也赚得盆满钵满。国内电影预售票房飙已升至5亿，首映票更是被炒至二三百元一张。电影、乐园、周边产品，迪士尼轮次挣钱的手段让人猝不及防。不过看过电影的精良制作和特效，影迷宝宝还是心甘情愿掏空腰包。
迪士尼赚的钱都去哪儿了？
——像钢铁侠一样研究人工智能了……
文本自动生成动画的AI技术
文本自动生成动画，简而言之就是直接输入自然语言文本，模型自己将其“脑补”为动画。
将文本直接转化为可以原始剪辑的视频片段技术早已实现。迪士尼的研究人员曾通过神经网络 ，以生物神经元为模型的数学函数层进行运算。生成了长度为32帧，尺寸为64×64像素的视频。可以实现“在草地上打高尔夫球”等相关文本语言的动作影像。
图：文字转动画AI系统图解
但近日，迪士尼研究和罗格斯大学的科学家们在Arxiv.org上发表了新论文（论文地址：https://arxiv.org/pdf/1904.05440.pdf）优化了这一技术。这种神奇的算法，采用端到端的模式，只需在输入文本中描述活动即可，不需要注释数据和进行大量训练就能产生动画。
如何使复杂文本直接生成动画？
首先需要解决“复杂”句型的文本转换问题。由于输入的句子和输出的动画都没有预先设定的模式和结构，就增加了转换难度。为解决这一问题，研究人员构建了一个包含多个组件模块的神经网络。
一是脚本解析模块：可以自动将文本与剧本场景描述隔离开。二是自然语言处理模块。可以通过一套语言规则简化复杂句子，并将简化句子中的信息提取到预定义的动作表示中。三是可以将所述表示转换为动画序列的动画生成模型。
图：该AI系统的文本简化阶段
简化方法可以更快地提取关键脚本信息。系统自身可以自主确定给定的片段是否包含特定的句法结构，然后将其拆分并组装成更简单的句子。在拆分和组装过程中，通过递归处理直到句子不能进一步简化为止。
接下来，协调与头部具有相同句法关系或者具有相同功能角色的句子。然后，词汇简化器可以将简化句子中的动作与52个动画匹配（通过同义词词典扩展到92个）。
最后，一个名为Cardinal的管道将动作输入，并在流行的视频游戏引擎Unreal中创建预可视化。利用预定义的动画库，预加载的对象以及可用于创建角色的模型，共同生成近似描绘已处理脚本的3D动画视频。
工作前期，为了训练系统，研究人员从996个剧本中编辑了一系列场景描述，这些剧本分别来自IMSDb，SimplyScripts和ScriptORama5。整个剧本集包含525,708个描述，1,402,864个句子，920,817的动作动词。其中动作动词占比超过40％。
测试结果：动画合理性达68%，系统需再度优化
在一项定性测试中，22名参与者对系统所生成的20个动画进行5分制评估。以文本信息完成度为评估标准，68％的意见表示系统自动生成的动画是合理的。
这样结果不尽如人意，一方面是由于这项评估任务基于模糊性和主观性之上。另一方面，源于系统本身的局限性。如：该模型中的动作和对象列表不详尽，词汇简化无法将动词（如“看”）映射到类似的动画（“外观”）之上等原因。
这项自动生成动画的系统并不完美。但相关研究人员已经提出了初步的解决方法：如通过关注文本中描述的行动顺序来利用话语信息。这有助于解决文本中行动含糊不清的问题等。
无疑，这已经是自然语言处理领域的一项“跃进”。
迪士尼的各项AI“黑科技”
过去几年，迪士尼一直默默在AI领域更新研发。在视觉计算、虚拟交互、机器人和机器学习等领域研发了很多先进技术。本文摘取了迪士尼机器学习领域内的一些有趣案例，一起看看这个影视大佬向AI领域进军的小心思吧——
1.用于去除蒙特卡罗渲染的内核预测卷积网络
这是由迪士尼研究院，皮克斯动画工作室和加州大学圣巴巴拉分校的研究人员开发的基于深度学习的新技术。该系统可以将噪点图像转换成类似于用更多光线计算的无噪点图。用于对蒙特卡罗渲染图像进行去噪，从而生成适合生产的高质量画面。
论文地址：
https://disneyresearch.s3-us-west-1.amazonaws.com/wp-content/uploads/20170630135237/Kernel-Predicting-Convolutional-Networks-for-Denoising-Monte-Carlo-Renderings-Paper33.pdf
2.使用深度模仿学习的数据驱动重影
由迪士尼研究院和加州理工学院研发的自动“数据驱动重影”，依赖于先进的机器学习方法，可以应用于足球职业联赛的跟踪数据。
论文地址：
https://s3-us-west-1.amazonaws.com/disneyresearch/wp-content/uploads/20170228130457/Data-Driven-Ghosting-using-Deep-Imitation-Learning-Paper1.pdf
3.广义语音动画的深度学习方法
这是由迪士尼研究所、加州理工学院和东安格利亚大学联合研究的模型。该模型可以自动生成与输入语音同步的自然外观语音动画。
论文地址：
https://s3-us-west-1.amazonaws.com/disneyresearch/wp-content/uploads/20170718091716/A-Deep-Learning-Approach-for-Generalized-Speech-Animation-Paper.pdf
迪士尼对AI自动生成动画方面的研究今后必将影响整个动画电影制作市场。AI技术将大大降低动画制作和后期的成本。
那么问题来了，以后迪士尼的电影票会降价吗？
读芯君小彩蛋
自从漫威归迪士尼之后，罗素兄弟在剧情上都要乖乖听东家的话了。《复联3》中，灭霸打响指之前，嘲讽雷神道：“你为什么不砍我的头呢？”
不是雷神紧张激动忘记了卡魔拉的叮嘱，只是因为迪士尼不让啊……
迪士尼曾对漫威影业下达了六项规定：1、维护迪士尼形象；2、不宣传DC；3、电影里禁止吸烟；4、剧本不能带回家；5、电影必须留下彩蛋；6、电影画面禁止斩首。
于是《复联3》中，响指打起，一半英雄陨落。谁能想到印象中人畜无害的傻白甜迪士尼，竟然亲手酿造了这段中场悲剧。
懵逼树上懵逼果，懵逼树下你和我……
留言 点赞 发个朋友圈
我们一起分享AI学习与发展的干货
文章相关链接：
https://venturebeat.com/2019/04/12/disneys-ai-generates-storyboard-animations-from-screenplays/
如需转载，请后台留言，遵守转载规范
推荐文章阅读
长按识别二维码可添加关注
读芯君爱你
