Google розробила нейромережу, яка генерує музику в будь-якому жанрі з текстового опису

Експерти з Google Research представили MusicLM — нову нейромережу, яка вміє писати музику за текстовим описом. Картинок від DALL-E 2 та Stable Diffusion надивилися, тепер настав час слухати треки.

MusicLM зберігає в собі базу даних із 280 000 годин музики. Алгоритми можуть створити композицію у 24 кГц і в будь-якому жанрі. Користувач навіть може додавати уточнення, наприклад, динамічний саундтрек аркадної гри з елементами електрогітари.

Також MusicLM може поєднувати різні треки в один і створювати «музичну історію» — трек, у якому одна пісня плавно перетікає до іншої. Остання особливість: можна вибрати рівень виконавця, вказавши піаніст-початківець або віртуоз.

Перший недолік нейромережі від Google: пісні мають спотворену якість. Друга проблема: MusicLM погано справляється зі створенням вокалу — згенерована мова виходить нісенітницею або сильно нагадує голос робота.

Google Research опублікувала вихідний код MusicLM на GitHub. Це означає, що кожен бажаючий може спробувати нейромережу і вбудувати її у свої платформи.