文章目录
目录
文章目录
概要
整体架构流程
技术细节
1. Luna AI 内置直播弹幕工具能对主流直播平台弹幕抓取，并且包含了文字转语音的接口。如要其他文字转语音的接口在页面上方导航配置想用的接口（未启动语言大模型，这里复读机作为演示）：
2.SadTalker上篇文章已经提到如何安装使用，这篇文章就配置上去以便使用，Luna AI界面上方导航虚拟身体配置想要用的接口，数字人播放器选项也在其中配置：
3.数字人播放器在Luna AI已经配置好了，启动服务还需要安装一下：
4. Luna AI通用配置，配置上目前用的模型，打开直播间页面就可以连接了：
小结
概要
数字人直播间来源可以是通过摄像头拍摄现场直播，也可以是预先录制好的视频进行直播。技术实现方面，可以利用直播平台的技术设施，如云服务器、流媒体服务器等，通过网络传输视频数据，实现直播功能。
数字人直播间可以实现各种内容，例如演唱会、体育赛事、游戏直播、教育课程等等。通过直播平台的互动功能，观众可以与主播进行实时互动交流，如发送弹幕、点赞、送礼物等。数字人直播间也可以提供一键预定、购买商品等商业化功能，为主播提供收入来源。
整体架构流程
我这里使用 edge-tts+SadTalker+数字人播放器+直播间弹幕工具，obs、直播姬等推流构成实时的数字人直播间。
- edge-tts：提供文字转语音API
- SadTalker：提供照片转视频API
- 数字人播放器：实时显示出来
- 弹幕工具：抓取直播弹幕
技术细节
1. Luna AI 内置直播弹幕工具能对主流直播平台弹幕抓取，并且包含了文字转语音的接口。如要其他文字转语音的接口在页面上方导航配置想用的接口（未启动语言大模型，这里复读机作为演示）：
2.SadTalker上篇文章已经提到如何安装使用，这篇文章就配置上去以便使用，Luna AI界面上方导航虚拟身体配置想要用的接口，数字人播放器选项也在其中配置：
3.数字人播放器在Luna AI已经配置好了，启动服务还需要安装一下：
# 安装
git clone https://github.com/Ikaros-521/digital_human_video_player.git
cd digital_human_video_player
pip install -r requirements.txt
# 启动
1.双击bat文件启动
2.python api_server.py鼠标右键，选择画中画），播放没问题就可以了：
4. Luna AI通用配置，配置上目前用的模型，打开直播间页面就可以连接了：
注意通用配置下弹幕过滤，否则任意弹幕都会触发：
如了解不详可以参考视频：
AI Vtuber + SadTalker搭建直播间
小结
这个组合使用了一系列技术来实现数字人直播间。首先，通过edge-tts技术，可以将文本转换为语音，为数字人提供发声能力。然后，SadTalker技术可以为数字人提供自然语言处理和对话生成的能力，使得数字人可以与观众进行交互。接下来，使用数字人播放器可以将数字人的声音和视频进行同步播放，提供更加真实的直播体验。最后，弹幕工具可以让观众在直播间中发送弹幕，与数字人进行互动。这个组合让数字人直播间能够实现多样化的内容，包括语音互动、演讲、教学等。它为数字人直播提供了丰富的功能和互动方式，带来了更好的用户体验。
