Новий підхід DeepSeek знижує втрати ресурсів під час навчання ШІ-моделей

У новій науковій роботі дослідники з DeepSeek запропонували підхід, який може частково зменшити цей тиск. Метод отримав назву manifold-constrained hyperconnection (mHC) і націлений на те, щоб зробити навчання великих моделей більш стабільним та передбачуваним. Замість гонки за максимальними показниками продуктивності автори зосередилися на іншій болючій точці — нестабільності в процесі навчання, через яку компанії нерідко змушені запускати дорогі обчислення заново.

Простіше кажучи, багато сучасних ШІ-моделей «падають» на середині навчання. В результаті губляться тижні роботи, величезні обсяги електроенергії та тисячі годин обчислень на GPU. Підхід DeepSeek покликаний знизити ймовірність таких збоїв, утримуючи поведінку моделі у більш контрольованих рамках зі зростанням її розмірів.

Це особливо важливо на тлі того, що навчання ШІ вже зараз споживає величезні обсяги енергії. Метод mHC не робить самі відеоприскорювачі економічнішими, проте дозволяє скоротити втрати енергії за рахунок того, що навчання з більшою ймовірністю завершується успішно і не потребує повторних запусків.

Додатковим плюсом стає ефективність масштабування. Більш стабільний процес навчання знижує необхідність у «лобових» рішеннях — використання більшої кількості GPU, додаткової пам'яті чи надмірно довгих циклів навчання лише для того, щоб модель взагалі змогла навчитися. У результаті сумарне енергоспоживання на весь процес може виявитися нижчим.

У DeepSeek не стверджують, що їхня розробка миттєво вирішить проблеми дефіциту обладнання чи енерговитрат. Йдеться швидше про менш помітний, але важливий крок уперед — раціональніше використання вже доступних ресурсів. Згодом подібні методи можуть допомогти навчати потужні ШІ-моделі з меншими втратами обчислювального часу та нижчим загальним енергоспоживанням.