Компанія Google представила AI-модель VideoPoet, здатну генерувати аудіо та відео на основі текстового опису.

Вона, як стверджують розробники, помітно відрізняється від інших подібних рішень і здатна створювати навіть довгі сюжетні ролики, а також редагувати готові матеріали.

VideoPoet дозволяє створювати відео на основі текстового опису. За словами Google, в основі проєкту є велика мовна модель (LLM). Аналогічне рішення застосовується ChatGPT. Для навчання нейромережі фахівці використали понад 270 млн відеороликів плюс понад мільярд текстів та графічних зображень, об'єднаних у пари.

Як результат, нова нейромережа вміє імітувати велику кількість візуальних стилів, дозволяє працювати з камерою і навіть генерувати аудіо на основі ролика. Не обійшлося і без популярного нині «вертикального» формату, придатного для використання у різних соціальних мережах.

Наразі рішення Google ще не було поставлене на комерційні рейки.