来了！“自助式”训练定制的数字人服务

原创

阿里云视频云 2023-09-11 15:16:37 ©著作权

©著作权归作者所有：来自51CTO博客作者阿里云视频云的原创作品，请联系作者获取转载授权，否则将追究法律责任

想拥有一个“数字分身” 吗？给你一个终身免费续期的特权。

定制周期长？训练、运营成本高？成片效果生硬？无法应用于实际场景？随着AIGC技术的快速发展，虚拟数字人的生成效率不断提高，训练成本逐渐降低，与此同时，生成效果也朝着更加精细化方向发展。越来越多的“数字人”正在走入各行各业，不受空间、时间的限制，解放着人们的生产力。来了！阿里云智能媒体服务正式推出：数字人形象和人声特征克隆模型的自助训练，一站式提供文本、语音驱动的仿真形象合成及视频终片创作的完整能力。文末更有限时福利，让您的“数字分身”永久免费续期～

形象、声音、生产力

首先，我们来看看如何定义一个好的数字人服务？一是数字人的 “形象” ，无论是动作、表情、还是口型等需要具有高还原度的拟真效果，这也是数字人服务的基石；二是数字人的 “声音” ，去僵硬、机器感，以同步拟真的声音，进一步提升数字人的生动感、完整度；在拟真的形象与声音之上，三是能将数字人运用于视频、直播等场景化创作，让以技术驱动的“人”带来真正的生产力；四是数字人与背景、前景等多类元素合成时，需要充分融合表达画面一致性，提升视觉细节精致度和画面感染力，这更是最终数字人成品质量的关键。

数字人的「超级服务方案」

阿里云智能媒体服务的数字人，是整合仿真形象渲染、声音克隆和视频精编二创的一体化服务方案。 ｜「形」：数字人形象训练及渲染 通过采集模特特定场景下播报形象的视频素材，以文本、语音驱动经过算法训练的“数字人”，生成多语种、任意语料、带有丰富拟真表情和动作的数字人视频。对于2D真人形象定制，我们提供规范的SOP录制手册，可依据手册轻松自助完成训练素材的录制、编辑和上传，实现拟真度极高的形象表达。 DEMO视频：https://v.youku.com/v_show/id_XNjAxOTM1NzM2OA==.html ｜「声」：人声克隆训练及渲染 当前人声克隆分为专业定制版、轻量定制版及基础版。基础版在线可用，系统自动分配20句文案简单录制，覆盖故事、交互、导航三大细分场景，便捷快速复刻人声。通过用户上传的录音内容，30min即可捕捉关键声纹特征克隆人声，达到用户级娱乐效果。轻量定制版（重点介绍）基于视频云多年深耕音视频算法，融合音质检测、音频降噪和数字克隆的多维度算法，基于15-30min有效音频，即可高保真还原音色。同时还可随着使用需求不同，指定音色情绪，满足不同应用场景的声音灵活适配。人声克隆轻量定制版Demo： 原始训练声音（截取）： https://v.youku.com/v_show/id_XNjAxOTM1NzU5Mg==.html 声音克隆结果： https://v.youku.com/v_show/id_XNjAyMjA1NTc0NA==.html ｜「效」：场景化视频抠除及背景融合 对于绿幕/实景视频，除了抠出内容边界清晰、自然无残漏的人像，还能指定抠出人像附属物，如：桌面、手持物品等。 ::: hljs-center

实景抠图带附属物效果

:::

即使数字人在不同光线及色彩环境下，也能自动将数字人与背景进行一致化融合处理，实现视频全片自然统一的超自然合成效果。自动适配冷暖色调融合效果：https://v.youku.com/v_show/id_XNjAyMjA1NDA4MA==.html ｜「创」：丰富的衍生制作能力及精编二创 阿里云「云端智能剪辑」提供专业的音视频剪辑（多层级元素、专业字幕、转场过渡、特效滤镜)能力及完善的视频模版工具。通过浏览器非线性编辑器或AE制作模版库，结合数字人自动化渲染，可实现数字人名片、数字人慕课等标准模版组合方案，满足短视频、教学视频、广告宣传等各类数字人视频制作的要求。 ::: hljs-center

浏览器剪辑界面

:::

｜「互」：数字人直播实时互动 基于数字人直播及实时互动的标准场景，我们即将提供开箱即用的SaaS工具，从直播间装修、数字人脚本设定到互动方案及数字人响应内容预置，实现一键开播。直播间不仅支持多个官方数字人形象，并支持自助训练数字人。如下方视频所示，客户通过阿里云智能媒体服务进行数字人及人声克隆（轻量定制版）定制及视频合成，将其运用于法律、财经知识的重点解读。客户案例示例：https://v.youku.com/v_show/id_XNjAyMjA2MDAzMg==.html