На iPhone 17 Pro запустили языковую модель с 400 миллиардами параметров

На iPhone 17 Pro продемонстрировали запуск языковой модели с 400 миллиардами параметров прямо на устройстве. Для смартфона это звучит почти нереально.

Демонстрацию провели в рамках open-source проекта Flash-MoE, о котором рассказал разработчик @anemll. Обычно модели такого масштаба требуют свыше 200 ГБ памяти только для загрузки, поэтому их работа на устройстве с 12 ГБ ОЗУ в привычном понимании кажется невозможной.

Однако здесь используется иной подход. Вместо загрузки всей модели в память система подгружает необходимые фрагменты из хранилища по мере обращения. Кроме того, применяется архитектура Mixture of Experts, при которой в каждый момент времени задействована лишь небольшая часть модели. Именно сочетание этих методов и делает запуск возможным.

Главная проблема — скорость, точнее ее практически полное отсутствие. Модель генерирует примерно 0,6 токена в секунду, то есть на одно слово уходит несколько секунд. Даже простые запросы быстро начинают испытывать терпение пользователя. Отдельный вопрос — энергопотребление: при такой нагрузке аккумулятор, скорее всего, разряжается очень быстро, хотя это ожидаемо.

Тем не менее сам факт впечатляет. Не потому, что этим уже можно пользоваться, а потому, что это показывает направление развития технологий. Еще совсем недавно запуск столь крупных моделей полностью на устройстве, без облака, даже не обсуждался всерьез.