На iPhone 17 Pro запустили мовну модель із 400 мільярдами параметрів

На iPhone 17 Pro продемонстрували запуск мовної моделі з 400 мільярдами параметрів безпосередньо на пристрої. Для смартфона це звучить майже нереально.

Демонстрацію провели в межах open-source проєкту Flash-MoE, про який розповів розробник @anemll. Зазвичай моделі такого масштабу потребують понад 200 ГБ пам’яті лише для завантаження, тож їхня робота на пристрої з 12 ГБ оперативної пам’яті у звичному розумінні здається неможливою.

Однак тут застосовано інший підхід. Замість завантаження всієї моделі в пам’ять система підтягує потрібні фрагменти зі сховища в міру звернення до них. Крім того, використовується архітектура Mixture of Experts, за якої в кожен момент часу задіяна лише невелика частина моделі. Саме поєднання цих методів і робить запуск можливим.

Головна проблема — швидкість, точніше її майже повна відсутність. Модель генерує приблизно 0,6 токена за секунду, тобто на одне слово потрібно кілька секунд. Навіть прості запити швидко починають випробовувати терпіння користувача. Окреме питання — енергоспоживання: за такого навантаження акумулятор, імовірно, розряджається дуже швидко, хоча це очікувано.

Утім сам факт вражає. Не тому, що цим уже можна користуватися, а тому, що це демонструє напрям розвитку технологій. Ще зовсім недавно запуск настільки великих моделей повністю на пристрої, без хмари, навіть не розглядався всерйоз.