Про проєкт Мобільна версія Статті партнерів Реклама Крипта E-bike
Xiaomi Apple Samsung Google Huawei Oppo Vivo Realme Microsoft AnTuTu
iLenta

Google представила нейромодель Gemini 1.5 із рекордним розміром контексту

17 лютого 2024, 15:06 | Bazelas [191]
Компанія Google представила перше велике оновлення сімейства великих мовних моделей (LLM) Gemini. Версія Gemini 1.5 відрізняється кратно збільшеним розміром контексту.
Google представила нейромодель Gemini 1.5 із рекордним розміром контексту

Контекстне вікно моделі Gemini 1.0 Pro складало 32 000 токенів — тобто одиниць інформації, якими оперує нейромережа. Можливості Gemini 1.5 Pro розширено до 128 000 токенів (аналогічно GPT-4 Turbo від OpenAI), але обмежена група розробників та корпоративних клієнтів тепер можуть взаємодіяти з версією Gemini 1.5 Pro з розміром контексту 1 млн токенів. У перекладі на зрозумілі одиниці — близько 1 години відео, 11 годин аудіо або 700 000 слів. Цього вистачить, наприклад, для аналізу сценаріїв усієї трилогії «Володар кілець».

Від розміру контексту залежить, який обсяг інформації нейромодель здатна обробити, проаналізувати та «запам'ятати». Чим більше контекстне вікно, тим точніше робота алгоритму. У Google говорять, що Gemini 1.5 Pro забезпечує якість, порівнянну з флагманською моделлю Gemini 1.0 Ultra, при цьому використовує менше обчислювальних ресурсів. Покращена модель перевершує Gemini 1.0 Pro у 87% бенчмарк-тестів.

Ще одне покращення в Gemini 1.5 Pro — ефективніший архітектурний підхід, Mixture-of-Experts (MoE). Сенс у тому, що параметри моделі діляться на кілька «експертних» груп. І, наприклад, у завдання перекладу тексту запускається не вся модель повністю, а лише відповідна група.

У майбутньому Gemini 1.5 Pro з контекстом 128К замінить версію 1.0 у сервісі gemini.google.com та в мобільних застосунках Google. За модель з контекстом 1M доведеться доплатити.

Джерело: Google

Теги: Google AI
YouTube Telegram
Коментарі

ОГЛЯДИ

НОВИНИ ТА ПОДІЇ

ПРИСТРОЇ ТА АКСЕСУАРИ

ІНСТРУКЦІЇ, ПОРАДИ ТА СЕКРЕТИ

КРИПТОВАЛЮТИ

Google News
Ads
Ads
Ads