视频剪辑中花式抠图的代码实操与案例详述

精选原创

阿里云视频云 2023-09-08 10:32:12 ©著作权

©著作权归作者所有：来自51CTO博客作者阿里云视频云的原创作品，请联系作者获取转载授权，否则将追究法律责任

本文为阿里云智能媒体服务IMS「云端智能剪辑」实践指南第三期，讲述围绕 视频剪辑及数字人训练中的抠图需求，如何运用 绿幕抠图、实景抠图能力，实现高效、便捷的视频制作及合成体验。 ::: hljs-right

昱尘｜作者悬刃｜算法支持

:::

“你这背景太假了”，博主疆域阿力木因为背景太好看而被质疑，随后画风突转，网友们通过“抠图技术”将博主合成到各种视频背景中，其搞笑程度一度冲上热搜。抠图技术常常被应用在众多场景中，发挥着越来越重要的作用。比如：直播带货场景中，商家通常会搭建绿幕背景，使用“绿幕抠图”技术，将绿幕背景替换成与商品相关的图片或视频，帮助消费者更加直观地了解产品的使用方法、功能及特点；或是在短视频营销中，通过“实景抠图”技术，将人像和指定物品从任意背景中抠出，替换成各种风景图片或视频，增加视频对观众的吸引力…… 抠图技术也在数字人训练领域发挥着越来越重要的作用，数字人训练需要去除背景，只保留人物视频，才能做后续的分析训练处理，使用绿幕抠图及实景抠图可以完美解决数字人训练素材的抠图问题。 IMS云端智能剪辑已将绿幕抠图以及实景抠图集成到了智能时间线Timeline中，客户可以使用IMS基础剪辑能力、调用IMS数字人视频合成接口、智能时间线Timeline。本文主要介绍三种场景下的抠图技术，展现如何花式抠图。 ::: hljs-center

三种场景下的抠图技术

:::

场景一：绿幕

生成训练数字人所需要的透明背景素材 训练数字人，在拍摄人物动作视频之后，通常需要将原始素材进行二次处理，生成只保留人像且背景透明的webm，或者生成代表人像区域和代表背景区域的黑白遮罩视频，我们分别来讲解如何利用绿幕抠图分别生成这两种视频。「云端智能剪辑」时间线Timeline中支持设置AI_Matting这个Effect，并支持设置Color为Green或者Blue两种抠图模式（绿幕抠图或蓝幕抠图），若期望生成带透明通道的webm，可以在OutputMediaConfig指定文件后缀名为webm即可。这是该场景中使用的素材示例：https://v.youku.com/v_show/id_XNjAxOTE3Njk2MA==.html

生成透明webm

成片效果视频：https://v.youku.com/v_show/id_XNjAxOTE3NzA0OA==.html Timeline示例：

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "Green"
      }]
    }]
  }]
}

{
  "Height": 1920,
  "Width": 1080,
  "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/output.webm"
}

生成黑白遮罩视频

合成webm由于编码器本身速度较慢的原因，耗时方面可能会不满足用户诉求，我们建议客户在抠图的同时添加背景、字幕等直接输出mp4成片。还有一种场景是客户要输出黑白透明通道视频，在前端展示、后续的剪辑处理中使用（Timeline中支持传入黑白透明通道视频对原素材进行遮罩），通过在AI_Matting这个Effect下增加MaskMode:true参数，黑色部分表示背景，白色部分表示人物位置和动作信息。成片效果视频：https://v.youku.com/v_show/id_XNjAxNjQ4ODAwOA==.html Timeline示例：

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "Green",
        "MaskMode": true
      }]
    }]
  }]
}

场景二：实景

仅保留人像，不保留其他物体

在背景是家具环境或者其他不方便搭建绿幕背景的情况时，需要利用实景抠图，将人像从背景中抠出，并替换其他图片背景或者视频背景。使用IMS云端智能剪辑时，可以通过一个Timeline，一次性完成抠图、背景裁剪、替换背景、增加字幕、增加配乐的所有操作。使用AI_RealMatting这个Effect，可以一键式地将人物信息从任意背景中抠出，您可以选择什么都不做，直接输出只有人像、背景透明的webm或者黑白遮罩视频，也可以选择替换背景、增加字幕、配乐，丰富视频内容，本章节主要介绍后者。这是该场景中使用的素材示例：https://v.youku.com/v_show/id_XNjAxNjQ4NjcyMA==.html 背景图：

背景音乐（该BGM由AIGC生成）：https://v.youku.com/v_show/id_XNjAxOTE3NzQ0MA==.html 成片效果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQzNg==.html Timeline示例：

{
  "VideoTracks": [{
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
        "Type": "GlobalImage",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "Crop",
          "X": 0.0,
          "Y": 0.0,
          "Height": 0.7,
          "Width": 1
        }]
      }]
    },
    {
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "AI_RealMatting"
        }]
      }]
    }
  ],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
        "Type": "Text",
        "X": 0.02,
        "Y": 0.02,
        "Content": "《美妆小课堂》",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000012",
        "Font": "Source Han Sans CN"
      },
      {
        "Type": "Text",
        "X": 0.2,
        "Y": 0.7,
        "Content": "金牌美妆师",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000014"
      }
    ]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"
    }]
  }]
}

Tips: ➤ GlobalImage可以在背景图片或者logo上使用，会自适应将图片的时长设定为视频的总时长； ➤ AdaptMode:Cover，可以将图片放大到指定的Width和Height上，如果素材的宽高比和设置的Width和Height不符，会自动进行裁剪； ➤ 在字幕轨道上，可以一键式设置花字样式，设置EffectColorStyle为相应的花字Id，丰富视频内容。

场景三：实景+其他物体保留

保留人像、桌子以及桌子上的物体

如果需要在实景抠图中，保留视频中除了人像以外的其他物体，我们还即将会支持自然语言形式的抠图物体保留能力。基于CLIP语言图像预训练模型技术，我们能够有效分析视频中的物体类别信息，通过大模型技术有效保留抠图视频除了人像之外其他需要保留的物体。可以设置AI_RealMatting这个Effect下的ReserveObjects数组内容，指定需要保留的物体自然语言名称，比如在本示例中，我们期望保留桌子和手机，就可以设置ReserveObjects为phone和desk组成的数组。成片效果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQ4MA==.html Timeline示例：

{
  "VideoTracks": [{
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
        "Type": "GlobalImage",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "Crop",
          "X": 0.0,
          "Y": 0.0,
          "Height": 0.7,
          "Width": 1
        }]
      }]
    },
    {
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "AI_RealMatting",
          "ReserveObjects": ["phone", "desk"]
        }]
      }]
    }
  ],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
        "Type": "Text",
        "X": 0.02,
        "Y": 0.02,
        "Content": "《美妆小课堂》",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000012",
        "Font": "Source Han Sans CN"
      },
      {
        "Type": "Text",
        "X": 0.2,
        "Y": 0.7,
        "Content": "金牌美妆师",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000014"
      }
    ]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"
    }]
  }]
}

智能媒体服务IMS（Intelligent Media Services）是2021年5月正式商业化的一款云产品，其中的云剪辑功能主打视频生产能力，通过组织剪辑需要的时间线（Timeline）结构，即可在云端对用户的音视频素材进行剪辑，可以理解为IMS云端智能剪辑就是一款API版的iMovie。本篇主要讲解绿幕抠图、实景抠图技术在视频剪辑及数字人训练中的使用，IMS云端智能剪辑还融入了众多AI能力，助力提高开发者的视频生产效率。欢迎加入官方答疑钉钉群咨询交流：31783668