Компания NVIDIA официально представила экспериментальный генеративный ИИ под названием Foundational Generative Audio Transformer Opus 1 (или Fugatto).

Этот ИИ способен обрабатывать текстовые запросы для создания аудио или модификации уже существующих музыкальных, голосовых и звуковых файлов. Международная команда исследователей работала над созданием этой модели, что сделало Fugatto особенно мощным в многоязычном и многоакцентном контексте.

Модель может использоваться в различных областях. Например, музыкальные продюсеры смогут создавать черновые версии треков, которые затем можно легко редактировать, меняя стили, голоса или инструменты. Также Fugatto пригодится в обучении языкам, позволяя пользователям выбирать голоса для создания аудиоматериалов. Разработчики видеоигр смогут использовать ИИ для создания динамических звуков, которые меняются в зависимости от игровых ситуаций и действий игроков.

Кроме того, модель демонстрирует способность выполнять задачи, которым ее не обучали напрямую, с минимальной донастройкой. Например, Fugatto может комбинировать освоенные команды для создания сердитого голоса с определенным акцентом или генерировать природные звуки, такие как пение птиц во время грозы. Модель также способна синтезировать звуки, которые изменяются с течением времени, например, звук приближающегося дождя.