阿里发布了CosyVoice和SenseVoice一个是文本转语音,一个是语音转文本,不过与之前测试的ChatTTS不同的是,CosyVoice提供了声音复刻的功能,也就是上传或者录入一个人的音色,他可以学会并转化成你想要说的话,,下面可以来实践一下。

        因为这个项目非常大,也需要安装各种包,这里直接用docker运行整合包来搭建环境,整合包下载后是个tar格式,大概处理流程是:

导入镜像 

docker load -i cosyvoice.tar

创建容器

docker run -d --name cosyvoice --gpus all -p 8000:8000 cosyvoice:1 

启动服务

docker start cosyvoice

需要注意的是,如果没有nvidia的显卡,可能会运行出错,不过可以使用下面的命令启动他是使用CPU的方式进行处理的:

docker run -d --name cosyvoice -p 8000:8000 cosyvoice:1

CosyVoice实现声音复刻_CosyVoice

页面可以看到提供四种模式,第一个是训练音色,第二个是3s极速复刻,第三个是跨语种复刻,第四个是自然语言复刻,这里我们选择第二种,并找一段声音上传上去,

这里一共有5个地方需要操作,第一个输入合成文本就是你想要音色模拟你说的内容,下面选择推理模式为3s极速复刻,第三个是需要上传一段音频文件,如果没有音频文件也可以选择右侧的录音,实时录一段就可以了,下面输入prompt文本是指录音的内容转成文本放进去,方便程序比对声音读的音色,全部完成后下面选择生成音频就可以等待生成了,生成时间根据GPU性能决定。

CosyVoice实现声音复刻_docker_02

本想上传原语音与转化后对比,但是不支持mp3格式,不过大家可以试试,这是我有史以来用过最nice的语音复刻软件