前言
Stability AI这家以开源图像生成模型 Stable Diffusion 而闻名的公司，在 6 月 6 日宣布开源其最新的 AI 音频模型 Stable Audio Open。这一新模型可以根据简单的文本提示生成最多 47 秒的高质量音频数据，为音乐制作和声音设计领域带来了新的可能性。
- Huggingface模型下载：https://huggingface.co/stabilityai/stable-audio-open-1.0
技术特点
Stable Audio Open 的核心技术基于文本条件下的扩散模型（Diffusion Model），并结合了音频编码器和 T5 文本嵌入模型，实现了从文本到音频的高质量生成：
- 扩散模型： 模型的核心是基于 Transformer 架构的扩散模型 (DiT)，它能够在音频编码器的潜在空间中进行操作，生成高质量的音频数据。
- 音频编码器： 模型使用了一个专门的音频编码器，将音频波形压缩成可管理的序列长度，方便扩散模型进行处理。
- 文本嵌入： 模型使用了预训练的 T5 模型 (t5-base) 对文本进行嵌入，将文本信息转化为模型可理解的向量，从而实现根据文本提示生成音频。
Stable Audio Open 1.0 可以生成长度可变 (最长 47 秒) 的立体声音频，采样率为 44.1kHz。该模型使用了 486,492 个录音数据进行训练，其中 472,618 个来自 Freesound，13,874 个来自免费音乐档案馆 (FMA)。所有音频文件均根据 CC0、CC BY 或 CC Sampling+ 获得了商业许可。
性能表现
Stable Audio Open 在音频生成方面表现出色，能够根据文本提示生成各种类型的音效，包括：
- 乐器音效： 例如钢琴、笛子、鼓点等。
- 环境音效： 例如雨声、风声、鸟叫声等。
- 音效素材： 例如脚步声、开门声、关门声等。
- 模拟人声： 模型可以生成简短的模拟人声，但尚未针对完整歌曲、旋律或人声进行优化。
应用场景
Stable Audio Open 在音乐制作、声音设计、游戏开发、影视制作等多个领域都有广泛的应用场景：
- 音乐制作： 音乐人可以利用 Stable Audio Open 快速生成新的音乐素材，例如鼓点、音效、旋律等，加速音乐创作流程。
- 声音设计： 音频设计师可以利用 Stable Audio Open 生成各种音效，例如环境音效、特殊音效等，为影视作品、游戏等增添音效细节。
- 游戏开发： 游戏开发者可以利用 Stable Audio Open 生成游戏中的背景音乐、音效，为游戏增添更加逼真的音效体验。
- 影视制作： 电影、电视剧等影视作品的制作人员可以利用 Stable Audio Open 生成各种音效，例如环境音效、人物音效等，为影视作品增添更丰富的声音细节。
总结
Stable Audio Open 的开源，为 AI 音频生成领域带来了新的突破。它不仅能够生成高质量的音频数据，还支持自定义数据微调，为音乐人、音频设计师等提供了强大的音频创作工具。未来，随着 AI 技术的不断发展，Stable Audio Open 可能会带来更多新的应用场景和可能性，为声音创作领域带来更大的革新。
模型下载
Huggingface模型下载
