刚刚用AI孙燕姿翻唱了一首《交换余生》,把整个过程跑通了,记录一下。
可以先试听一下:
https://www.bilibili.com/video/BV1az4y1a7K7/
下面教程开始:
1.
找到要翻唱的歌曲,比如我用的就是林俊杰原唱的《交换余生》。
这里我踩了个坑,导致最后的效果不太好。提示一下,如果你想要AI女生翻唱男生的歌曲的话,最好找真人女歌手翻唱的音频,因为男生的音高和女生不一样,伴奏音高也不一样。
2.
处理原版音频,分离人声和伴奏。这里需要用到分离的软件UVR。本文所用所有软件及素材下载地址在首发号回复“孙燕姿”获取。
这一步我尝试过两个软件:一个是SpleeterGUI,分离我这首歌效果不好,人省不够干净。后来又换了UVR效果很好。我把两个软件都给你,优先用UVR,如果你的音频用UVR效果不好,可以用SpleeterGUI试试。
安装好之后,需要把“UVR5模型.zip”解压出来的模型文件复制到UVR安装目录的models文件夹中。UVR默认安装位置是:C:\Users\<你的用户名>\AppData\Local\Programs\Ultimate Vocal Remover
3.
UVR第一次处理,设置如下图所示:
输出文件类型默认是wav,不要修改。如果你的电脑没有显卡,可以去掉GPU Conversion这个选项。
分离成功后,目录下会有两个文件:
括号里是Vocals的为人声(干声),Instrument是伴奏。这时候你可以听下干声文件效果如何,如果混响过重的话可以进行第4步。
4、
【可选】如果干声混响过重,可以用这个配置再处理一次干声,见下图。
5、
打开资料包中的so-vits-svc文件夹,打开下面的启动webui.bat
文件。然后会弹出来命令行黑框,等待片刻。。。
会自动弹出浏览器到这个页面:
6、
训练好的AI孙燕姿的模型我已经放到对应的目录中了,本文所用所有软件及素材下载地址在首发号回复“孙燕姿”获取。
按下图选择相关参数加载模型:
出现下图就是成功了!
如果你需要用其他训练好的模型,通常需要把.pt,.pth文件放到so-vits-svc/pre_trained_model文件夹下,把config.json放到so-vits-svc/configs文件夹下。
7、
上传干声(人声)文件,点击“音频转换”就可以开始转换了。
F0均值滤波选项主要解决哑音问题,如果你输出的声音有比较明显的哑音的话可以勾选尝试;
变调可以修改输出声音的音调(不懂不要改)
比如我让AI孙燕姿唱林俊杰的《交换余生》原调,感觉是有点低的,可以把这个声调调高,我是变调设置为5(相当于从原调D到G)。但是需要注意伴奏也要升调,否则合成以后会听起来很奇怪。
8、
等待一段时间,转换好之后会显示如下图,可以播放试听,点击三个点可以下载:
9、
合成干声和伴奏。这时候我们已经有翻唱的干声和原版的伴奏了。可以用剪映将干声和伴奏合成,然后输出视频或者纯音频都可以,在这就不多讲了。
我在翻唱转换的时候升调了,所以伴奏也需要修改一下,否则听着人声不在调上。伴奏升调我用的是Audacity(https://www.audacityteam.org/),将伴奏拖进去,Ctrl+A全选,菜单栏中“效果 > 改变音高”,根据需要调即可。调完后不要直接保存,直接保存是audacity工程文件,要选择菜单栏中的“文件 > 导出”。
总结
本文是用已有的模型进行翻唱的过程,如果感兴趣的人多我再写写从0训练AI歌手的教程。
感谢@歸藏 @领航员未鸟 @羽毛布団 几位大佬的资料和教程。
爱落地星球不聊虚的,只聊AI如何落地变成生产力,变成钱!
如果你想知道:
- 如何用AI提高10倍工作效率,提高职场竞争力
- 如何用AI搞副业年入百万
- 如何用AI提高生活幸福指数
- 同行都在如何用AI降本增效
欢迎来找我聊聊。