音乐与声音的创作、编辑及转换不仅是艺术的展现，也是技术的较量。当前，尽管人工智能（AI）已经在多个领域大放异彩，但在音乐与音频制作中，多数AI模型仍存在明显的局限性。它们通常只能胜任单一任务，或在面对新情境时难以灵活应对。这种局限性不仅阻碍了AI在音乐制作中的广泛应用，也限制了艺术家们探索无限可能的创意空间。
为了克服这些障碍，理想的AI工具应当具备以下特性：多功能性，能够适应各种音乐和音频任务；创造性，能理解并实现艺术家的创意愿景；以及高响应性，能够准确解读和响应用户的指示，从而帮助创作者实现前所未有的声音效果。
Fugatto：开启音乐创作的新纪元
英伟达最新推出的Fugatto模型，正是针对上述需求而设计的一款革命性工具。这款包含25亿参数的AI模型，专注于音乐、人声和声音的生成与操控。Fugatto通过结合文本提示与高级音频合成技术，实现了声音创意的极大灵活性。无论是将钢琴旋律转换成人声演唱，还是让小号演奏出非同寻常的音色，Fugatto都能轻松应对，为艺术家们打开了一个全新的声音世界。
例如，你想创造一个音频片段，其中包含雷雨声和风声，同时还有一个女声用英语唱着带有乡村音乐风格的歌词。使用Fugatto，你可以通过提供一个包含这些元素的文本描述来生成这样的音频。例如，文本指令可能是：“合成一个场景，有雷声、雨声和风声，以及一个女声用英语唱着带有乡村风格的歌词。”
技术亮点
- 数据生成与增强：Fugatto采用了创新的数据生成方法，不仅依赖于标准数据集，还通过特殊技术生成多样化音频任务所需的数据。同时，利用大型语言模型增强指令生成过程，确保模型能更准确地理解文本与音频提示之间的联系。
- 可组合音频表示转换（ComposableART）：这是Fugatto的一项关键技术，它允许模型在推理过程中平滑地组合、调整或否定不同的音频生成命令。这为用户提供了前所未有的声音合成控制力，能够精确地创造和混合声音，生成独特的听觉体验。
- 架构优化：基于Transformer模型，Fugatto进行了特定的架构调整，比如自适应层归一化，以确保模型在处理不同类型的输入时保持一致性和稳定性，特别提升了对复杂作曲指令的支持能力。
主要功能：
- 音频合成：根据文本指令生成新的音频内容，如语音、音乐或其他声音效果。
- 音频转换：对现有音频进行修改，如改变语音的情绪、风格或添加/移除特定的声音效果。
- 零样本学习：在没有显式训练的情况下，能够执行未见任务的音频生成和转换。
主要特点：
- 多模态理解：Fugatto能够理解文本和音频数据，并在它们之间建立联系。
- 组合能力：通过ComposableART技术，Fugatto能够组合、插值或否定指令，以创造出新的音频输出。
- 高性能：在多个音频任务中与专门模型竞争，同时通过ComposableART扩展其声音调色板和合成控制。
工作原理：
Fugatto的工作原理基于以下几个关键组件：
- 数据集生成：使用大型语言模型（LLMs）生成和增强指令和标题，创建一个包含多样化音频任务和上下文的大型数据集。
- 指令生成：支持基于模板的指令和自由形式的指令，以灵活地指导音频生成过程。
- 模型和训练：使用预训练的语言模型对文本指令进行编码，并结合音频表示（如Mel频谱图）进行训练，以优化音频生成和转换任务。
- ComposableART：在推理时使用的技术，允许基于分类器自由引导（CFG）的组合指导，实现复杂的基于指令的操作，如平滑插值或否定特定指令。
实际应用与前景
Fugatto的出现，标志着音频生成AI技术的一大步进。它不仅在标准测试中表现出色，更重要的是，Fugatto展现了生成新颖声音和遵循复杂作曲指导的独特能力。例如，它可以创造出具有独特特性的萨克斯风声音，或将语音无缝融入背景音效中。这些功能对于音乐制作人、游戏开发者、电影制作者乃至教育工作者而言，都是极具价值的。（官方介绍）