OpenAI представила Sora 2 — нову версію AI для генерації відео та аудіо

Компанія OpenAI разом із соцмережею у стилі TikTok показала Sora 2 — оновлену модель для генерації відео та аудіо, яка вміє створювати фотореалістичні сцени та синтезувати мову. Головна новинка — функція Cameo, яка дозволяє додавати у ролики самого себе чи інших людей. Для цього потрібно один раз записати відео та аудіо, щоб підтвердити особу.

За словами розробників, Sora 2 працює з фізикою рухів краще за попередницю. Якщо перша версія плуталася у простих речах на кшталт удару баскетбольного м'яча об щит, то новій моделі це дається без проблем. У прикладах OpenAI показала гімнастичні та скейтбордистські трюки, а також бойові мистецтва — хоча місцями алгоритм все ще помиляється, зокрема, зі складними предметами. Також модель навчилася генерувати мову.

За словами перших користувачів, Sora 2 відмінно справляється з анімацією мемів, перетворенням будь-яких роликів на стильні аніме-сцени, таймлапсами та вставкою персонажів мультфільмів у фільми. Для роликів можна вибирати горизонтальний або вертикальний формат, а їхня тривалість обмежена 10 секундами.

Деякі запити система блокує: так, не можна згенерувати відео зі Шреком або штурмовиком із «Зоряних воєн». При цьому нейромережа без проблем дає використовувати образ Пікачу.

Sora 2 вже доступна в програмі Sora на iOS, але поки що тільки за запрошенням.