Deepmind推出Lyria AI音频模型，可生成带有乐器和人声的音乐

Deepmind推出Lyria AI音频模型，可生成带有乐器和人声的音乐

IT之家 11 月 21 日消息，Deepmind 日前推出了一款名为 Lyria 的音频模型，可用于生成带有乐器和人声的音乐。此外 Deepmind 还通过与 YouTube 合作，整合 Lyria 模型开发了音乐创作工具 Dream Track，声称可令视频创作者“更有效率地将想法变为作品”。

研究人员介绍了当前通过 AI 模型生成音乐的挑战，这是因为音乐本身包含极高的信息密度，其中每一秒钟都可能拥有多个节拍、音符及和声。而这也使得“生成音乐”相较于“生成语言（文字转语音）”更为复杂，而对于 AI 模型来说，维持长音乐序列中的连续性也更为困难，这是因为模型需要在不同的乐句、诗节和长段落中，保持音乐的流畅性和一致性。

此外，由于音乐片段中经常同时包含多个声部和乐器，这也进一步增加了音乐生成的难度，相关音频模型必须能够协调多种声音和旋律，从而使生成的音乐更自然。

而 Deepmind 所开发的 Lyria AI 模型，便是针对上述痛点进行的尝试，这款模型的最大特点就是能够生成包含乐器和人声的高品质音乐。

▲ 图源 Deepmind

此外，Lyria 模型还擅长进行音乐变换和延续的任务，因此模型还能基于现有音乐片段生成出风格新颖或统一的后续片段。

研究人员同时强调，Lyria 模型拥有细致的微调选项，可让用户精确生成音乐风格及表现方式，因此这款模型可以“满足专业音乐创作的需求，同时也可以让业余用户轻松上手”。

▲ 图源 Deepmind

IT之家注意到，目前 YouTube 已经在短视频功能“Shorts”中应用 Lyria 模型，相关成果已经集成在 YouTube 的实验音乐创作工具 Dream Track 中，用户可以用这款工具生成多样化的配乐，并可选用 Charlie Puth、Charli XCX、Sia 等艺术家的音乐风格来创造出“全新演绎”。

▲ 图源 Deepmind

据悉，用户可以在 Dream Track 中简单地输入主题，之后即可选择一位艺术家，为短视频生成 30 秒的配乐、歌词、伴奏等内容。

▲ 图源 Deepmind

▲ 图源 Deepmind

此外，Deepmind 还表示，研究人员正广泛地探索 AI 在音乐创作领域的应用，未来用户只需要哼唱，AI 就会把旋律配成带有歌词的完整歌曲，也可以将古早的 MIDI 音乐转换为 Remix 版本，或为音轨添加各种乐器伴奏。

Deepmind 同时提到，Lyria 模型生成的所有内容，都会加上 SynthID 水印标记。这是一种辨识歌曲是否是由 AI 生成的水印机制，号称能够在不影响听觉体验的前提下，为 AI 生成的音乐嵌入“听众无法察觉的水印标记”。

▲ 图源 Deepmind

研究人员提到，带有“声音水印”的音频，即便添加噪音，或是进行 MP3 压缩，甚至对变更音调速度，也都能够维持可检测性，而 Lyria 模型也可以通过检测歌曲中的 SynthID，来确认歌曲中由 Lyria 模型生成的部分，从而更容易辨别音乐主题内容，方便生成后续音乐片段。