请点击此处查看本环境基本用法. Please click here for more detailed instructions.
PaddleGAN精准唇形合成高清升级：柳夜熙开口说话的秘密
虚拟偶像/数字人说话的秘密
最近大火的虚拟美妆博主柳夜熙、、各大虚拟偶像以及上周百度发布的央视总台首个AI手语主播等等数字人的核心技术中，让数字人开口说话的也是这个AI算法！!
同时激起百万网友热议，到底是什么技术这么牛气？
答案就是：Wav2Lip！
PaddleGAN的唇形迁移能力–Wav2lip
铛铛铛！！飞桨PaddleGAN这就来给大家揭秘，手把手教大家如何实现唇型的迁移，学习过本项目的你们，从此不仅能让柳夜熙开口说话，还能让蒙娜丽莎播新闻、新闻主播唱Rap… 只有你想不到的，没有PaddleGAN做不到的！
PaddleGAN针对Wav2Lip模型进行了高清优化，使唇形拟合更加细腻，更加逼真！
本教程是基于PaddleGAN实现的视频唇形同步模型Wav2lip, 它实现了人物口型与输入语音同步，俗称「对口型」。 比如这样：
不仅仅让静态图像会「说话」，Wav2lip还可以直接将动态的视频，进行唇形转换，输出与目标语音相匹配的视频，自制视频配音不是梦！
本次教程包含四个部分：
- Wav2lip原理讲解
- 下载PaddleGAN代码
- 唇形动作合成命令使用说明
- 成果展示
若是大家喜欢这个教程，欢迎到Github PaddleGAN主页点击star呀！下面就让我们一起动手实现吧！
Wav2lip模型原理
Wav2lip实现唇形与语音精准同步突破的关键在于，它采用了唇形同步判别器，以强制生成器持续产生准确而逼真的唇部运动。
此外，该研究通过在鉴别器中，使用多个连续帧而不是单个帧，并使用视觉质量损失（而不仅仅是对比损失）来考虑时间相关性，从而改善了视觉质量。
该wav2lip模型几乎是万能的，适用于任何人脸、任何语音、任何语言，对任意视频都能达到很高的准确率，可以无缝地与原始视频融合，还可以用于转换动画人脸，并且导入合成语音也是可行的
Step 1：下载PaddleGAN代码
%cd /home/aistudio
# 下载PaddlePaddle安装包
# 从github上克隆PaddleGAN代码（如下载速度过慢，可用gitee源）
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
#!git clone https://github.com/PaddlePaddle/PaddleGAN#本地安装PaddleGAN
%cd /home/aistudio/PaddleGAN
!pip install -v -e .Step 2：唇形动作合成命令使用说明
重点来啦！！本项目支持大家上传自己准备的视频和音频， 合成任意想要的逼真的配音视频！！
只需在如下命令中的face参数和audio参数分别换成自己的视频和音频路径，然后运行如下命令，就可以生成和音频同步的视频。
程序运行完成后，会在当前文件夹下生成文件名为outfile参数指定的视频文件，该文件即为和音频同步的视频文件。本项目中提供了demo展示所用到的视频和音频文件。具体的参数使用说明如下：
- face: 原始视频，视频中的人物的唇形将根据音频进行唇形合成–通俗来说，想让谁说话
- audio：驱动唇形合成的音频，视频中的人物将根据此音频进行唇形合成–通俗来说，想让这个人说什么
%cd applications/
!python tools/wav2lip.py \
--face /home/aistudio/1.jpeg \
--audio /home/aistudio/2.m4a \
--outfile /home/aistudio/pp_put.mp4 \
--face_enhancement总结
首先帮大家总结一波：让图片会说话、视频花式配音的魔法–Wav2lip的使用只用三步：
- 安装Paddle环境并下载PaddleGAN
- 选择想要「配音/对口型」的对象以及音频内容
- 运行代码并保存制作完成的对口型视频分享惊艳众人
贴心的送上项目传送门：PaddleGAN 记得点Star关注噢~~
PaddleGAN中还有很多其他的能力，大家可以敬请体验~
- 「人脸融合」
人物1 | 人物2 | 融合后效果 |
|
|
- 百年影像上色、插帧、提高分辨率
- 照片动漫化
- 人脸动漫化
