Green Screen | 绿幕抠像

抠像是现代影视作品常用手段之一,可实现很多现实中难以实现的场景,这种技术不仅仅运用上好莱坞大片或者大型电视栏目上,一些社交网站上的视频博主也会自己制作一些有意思的小视频。其原理是利用色度的区别,将拍摄人物或其他前景内容从单色背景中提取出来,再与虚拟画面进行合成。

深度学习 绿幕抠图算法 绿幕抠图的原理_深度学习 绿幕抠图算法

前期准备

- 镜头脚本和演员表演 -

抠像是将真实拍摄画面和虚拟制作的背景画面合成的技术,所以实拍往往只能对着空气表演,无法实时了解最终的合成效果,这就要求导演和后期指导人员良好协调,分析研究镜头脚本的画面构成、摄影机运动轨迹等各方面因素,同时也要考虑后期技术能否完美实现想要的效果。


- 遮幕和道具 -

理论上只要背景所用的颜色在前景画面中不存在,用任何颜色做背景都可以,但实际上最常用的是蓝背景和绿背景,原因在于,人体的自然颜色不包括这两种色彩,用它们当背景不会和人物混在一起;同时这两种颜色是RGB系统中的原色,也比较方便处理。欧美国家在拍摄人物时常采用绿幕,因为很多欧美人眼睛是蓝色的。在架设遮幕前导演需要明确哪些内容可通过实拍完成,哪些内容必须借助后期合成,甚至哪些内容需要演员和虚拟画面互动完成。在镜头脚本的指导下确定真实拍摄和背景的分界位置,确保摄影机中只出现所需的前景画面和遮幕,同时也确保前景中演员及道具与背景遮幕的颜色差异,否则后期处理时就会出现前景人物和背景一同被“抠掉”的情况。在某些特殊情况下也会引入一些与背景颜色相同的道具作为前景抠像对象,以实现一些特殊效果。


- 跟踪点 -

一般运动镜头的合成制作需要在拍摄场景中安放一定数量的有效跟踪点以方便后期处理时进行摄影机轨迹反向求解,从而在三维软件中正确模拟出摄影机的运动轨迹。只有这样才能在场景抠去背景后遵循正确的透视关系进行三维虚拟物体的添加。所以如果要使用运动镜头,需要在遮幕上放置一定数量的跟踪点标记,具体数量和位置要参考镜头的运动幅度和演员在场景中移动的范围而定。基本原则是要求放置的跟踪点不被前景物体遮挡,而且颜色相对遮幕要要有所区分。当然条件允许,引入多轴运动控制系统会让运动镜头的合成变得更加简单和准确。


拍摄和素材采集

- 拍摄 -

在前期准备工作充分的前提下,按照脚本的要求寻找合适的机位并和演员协调好就可以开始拍摄工作。需要注意的是演员的表演必须在遮幕范围内,尤其需要注意其肢体动作不能超出遮幕范围,否则会造成抠像的信息丢失。此外,需要移动拍摄或摇镜头时必须保证跟踪点始终处在拍摄画面中,同时不能被演员遮挡。


- 采集 -

采集工作相对简单,即将拍摄好的素材输入计算机进行采集,并按脚本要求对素材进行分类剪辑,将需要抠像的内容和不需要抠像的内容进行分离以便处理和合成工作顺利进行。最后再对需要的时码进行记录,以防最终合成时产生混乱。

深度学习 绿幕抠图算法 绿幕抠图的原理_深度学习 绿幕抠图算法_02

后期制作

利用实拍所得的素材,通过三维动画和合成手段制作特效镜头,然后把镜头剪辑到一起并配音,形成完整的影片,具体步骤一般如下:

通常拍摄的蓝幕或绿幕背景都存在色彩不均的情况,这种即使反复调整抠像插件的参数也很难达到理想的抠像效果,所以进行抠像前应该使用颜色调整工作来校正背景色彩。而且不仅是调整抠像插件的参数就能获得理想的抠像效果,有时甚至还要添加遮罩来处理插件无法处理的区域。

在后期合成软件中将前景素材叠加在背景素材上,调整好前景和背景素材的位置,并给前景素材应用一个抠像工作

调整抠像工具的参数,从前景中选取要抠除的颜色,让颜色的所有像素变成透明部分,再将需要的前景对象叠加到背景素材上;如果所需前景图像的某些像素没被抠除,就需要在前景图像中对更多的一些像素进行取样并将它们添加到抠除范围内;为了避免抠出来的前景对象边缘出现锯齿和硬边,通常还需要加入边缘羽化值,使抠像边缘呈现一定的柔和度。

而对于抠像结果十分不理想的素材,如边缘冷却严重的素材,或者拍摄本身像素不高难以做到精确抠像的素材,甚至某些条件不允许的情况出现的无遮幕的抠像素材,则需要根据不同的抠像方法进行综合运用进行处理。目前常见的抠像方法如下:


Chroma Key | 色度抠像

色度抠像又称色度键,是基于RGB模式的抠像技术,其从原理上最接近最初的蓝幕技术,即通过前景和背景颜色差异将背景从画面中抠除并替换。


Luma Key | 亮度抠像

亮度抠像一般用于画面上有明显亮度差异的镜头抠像,是基于alpha通道的抠像技术,对于明暗反差很大的图像我们应用这种抠像技术使背景透明。如明亮天空背景下拍摄的画面,就可以利用抠像将天空去除替换成想要的动态天空素材进行再编辑等等。


Difference Key | 差值抠像

差值抠像比较特殊,其原理是通过寻找两段同机位拍摄的画面的差别并将其保留,而将没有差别画面作为背景去除。其基本思想是,先把前景物体和背景一起拍摄下来,然后保持机位不变,去掉前景物体,单独拍摄背景。这样拍摄下来的两个画面相比较,在理想状态下,背景部分是完全相同的,而前景出现的部分则是不同的,这些不同的部分就是需要保留的alpha通道。一般这种抠像方式主要用于无法运用蓝/绿幕抠像的场景。


Modular Key | 三维抠像

三维抠像是一种依赖于软件功能的高级抠像技术,其原理是将图像的色彩区域规整为三维空间显示模式,自动去除色彩溢出并使边缘融合。这是一种先进的抠像技术,目前只有部分高端数字合成软件(如:Flame、Shake等)有此功能。

抠像技术常用软件

目前常用的抠像合成软件一般分为节点模式和层模式两种。两种模式的软件各有所长,前者因为其节点模式的性质决定了这类软件较适合大型复杂的抠像处理,这样在添加和管理节点时较为容易和直观,同时也能加快处理速度;后者则在操作上较为直观,容易上手,同时也在应对简单抠像场景时有着较快的处理速度。

节点模式的合成软件把合成所需的画面元素作为节点,并把对元素的处理也视为特效节点,并将各个节点通过一定的关联关系进行连接(如色彩、透明度等),最终让原始图像经过一串节点的处理后得到所需的效果。Shake、Digital Fusion、Nuke等软件就是典型的节点模式合成软件。

层模式的合成软件把需要完成抠像的素材和需要进行拼接的素材元素作为不同图层,并把元素的处理也视为对图层的调节,然后将完成调整的各个图层按从上而下的顺序按一定合成模式进行叠加,最终输出所需的抠像合成效果。如Hitfilm、After Effect、Combustion等都是典型的层模式合成软件。


自动抠像的AI系统

为了制作出好莱坞式的科幻大场面特效,很多电影时常会在拍摄和后期制作时,融入绿幕抠像技术,方便后期人员更快速简易的处理图像。虽然相比普通的抠像技术,绿幕抠像技术已经为后期人员减少了一定量的工作,但仍然费时费力。因此不少公司都在寻求更好的解决方案,欲提高后期人员的工作效率。近日,谷歌研究人员发表了一篇博客,文中指出:谷歌团队利用简化时间密集型的机器学习法,已成功研发出一款能够跟上视频帧速、快速切换背景的系统。据悉,该系统无需绿幕背景,即可简化抠像繁琐的工作流程,帮助后期人员极快的制作出如MR般的特效内容。

关于这款系统的工作原理,在博客中谷歌也做了详尽的解释:“首先,该系统通过标签图像,精心训练一个神经网络。然后,让它去学习如何正确地在各种背景元素中分辨出人们的面部特征,比如眼睛、头发、嘴巴等。最后将这些特征识别出来,以此精准的将人像与背景区分开来。得益于AI机器学习的特性,训练神经网络技术,无需再输入模式化的代码,而是给予它大量的数据,让它通过不断的自主学习,高效掌握特定模式。于是我们看到,越来越多的技术开始拥抱AI,欲给予其技术一颗聪明的“大脑”,让工作起来事半功倍。