Google представила нейромодель Gemini 1.5 із рекордним розміром контексту

Компанія Google представила перше велике оновлення сімейства великих мовних моделей (LLM) Gemini. Версія Gemini 1.5 відрізняється кратно збільшеним розміром контексту.

Контекстне вікно моделі Gemini 1.0 Pro складало 32 000 токенів — тобто одиниць інформації, якими оперує нейромережа. Можливості Gemini 1.5 Pro розширено до 128 000 токенів (аналогічно GPT-4 Turbo від OpenAI), але обмежена група розробників та корпоративних клієнтів тепер можуть взаємодіяти з версією Gemini 1.5 Pro з розміром контексту 1 млн токенів. У перекладі на зрозумілі одиниці — близько 1 години відео, 11 годин аудіо або 700 000 слів. Цього вистачить, наприклад, для аналізу сценаріїв усієї трилогії «Володар кілець».

Від розміру контексту залежить, який обсяг інформації нейромодель здатна обробити, проаналізувати та «запам'ятати». Чим більше контекстне вікно, тим точніше робота алгоритму. У Google говорять, що Gemini 1.5 Pro забезпечує якість, порівнянну з флагманською моделлю Gemini 1.0 Ultra, при цьому використовує менше обчислювальних ресурсів. Покращена модель перевершує Gemini 1.0 Pro у 87% бенчмарк-тестів.

Ще одне покращення в Gemini 1.5 Pro — ефективніший архітектурний підхід, Mixture-of-Experts (MoE). Сенс у тому, що параметри моделі діляться на кілька «експертних» груп. І, наприклад, у завдання перекладу тексту запускається не вся модель повністю, а лише відповідна група.

У майбутньому Gemini 1.5 Pro з контекстом 128К замінить версію 1.0 у сервісі gemini.google.com та в мобільних застосунках Google. За модель з контекстом 1M доведеться доплатити.