Как запустить нейросеть на своём сервере: что нужно и с чего начать

Хорошая новость: открытые модели за последние два года догнали закрытые по большинству прикладных задач, а инструменты для их запуска стали доступны людям без опыта в машинном обучении. Разберём, что для этого нужно, как подобрать железо и с чего начать, чтобы не потратить бюджет впустую.

Зачем запускать модель локально

Первая причина — данные. Договоры, медицинские записи, переписка с клиентами, исходный код — всё это нежелательно отправлять во внешний сервис, а в случае персональных данных россиян и вовсе нельзя без соблюдения требований закона. Своя модель работает внутри вашего контура, и данные его не покидают.

Вторая причина — экономика и контроль. При стабильной нагрузке аренда сервера с собственной моделью обходится дешевле оплаты за токены, а лимиты, изменения тарифов и отключения провайдера вас не касаются. Третья — возможность дообучить модель под свою терминологию, стиль и задачи, чего с закрытыми API либо нельзя, либо дорого.

Какие модели можно запустить

Языковые модели с открытыми весами — Llama, Qwen, Mistral, DeepSeek и их производные — закрывают чат-ботов, суммаризацию, извлечение данных из документов, генерацию текстов и код. Модели различаются числом параметров: 7–8 миллиардов помещаются на одну потребительскую видеокарту и подходят для большинства офисных задач, 30–70 миллиардов дают заметно лучшее качество, но требуют 48 ГБ видеопамяти и больше.

Помимо текста есть генерация изображений (семейство Stable Diffusion, FLUX), распознавание речи (Whisper), компьютерное зрение и эмбеддинги для поиска по базе знаний. Все они запускаются на том же типе железа, и один сервер с видеокартой может обслуживать сразу несколько задач по очереди или параллельно.

Что нужно из железа

Главный ресурс — видеопамять. Модель должна помещаться в память видеокарты целиком, иначе скорость падает на порядок. Ориентир: 7–8 миллиардов параметров в сжатом виде — 6–8 ГБ, 13 миллиардов — 10–12 ГБ, 30 миллиардов — около 20 ГБ, 70 миллиардов — 40–48 ГБ. Генерация изображений комфортно работает от 12 ГБ, обучение и дообучение требуют в полтора-два раза больше памяти, чем запуск.

Отсюда практический выбор: RTX 3090 или 4090 с 24 ГБ закрывают модели до 30 миллиардов и большинство задач с изображениями; профессиональная RTX A6000 с 48 ГБ — модели до 70 миллиардов и круглосуточную работу под нагрузкой. К видеокарте нужен процессор с достаточным числом ядер для подготовки данных, 32–64 ГБ оперативной памяти и быстрый NVMe-диск: веса моделей весят десятки гигабайт, и медленный диск превратит каждый перезапуск в ожидание.

Купить сервер или арендовать

Покупка собственного GPU-сервера — это стоимость карты, платформы с мощным блоком питания, серверной с охлаждением и человека, который всё это обслуживает. Видеокарты под постоянной нагрузкой греются сильнее любого компонента и в офисе долго не живут. Плюс риск ошибиться с конфигурацией до того, как вы поняли реальную нагрузку.

Для старта разумнее аренда сервера с видеокартой в дата-центре: вы получаете физическую машину с полным доступом, а питание, охлаждение и замену вышедшей из строя карты берёт на себя провайдер. Можно начать с одной карты на 24 ГБ, оценить качество и скорость на реальных данных и уже потом переходить на старшую конфигурацию — или, если проект не взлетел, просто закрыть аренду. Многие провайдеры дают юридическим лицам бесплатный тест, которого хватает, чтобы прогнать модель на своих задачах.

С чего начать: инструменты

Для языковых моделей самый простой путь — Ollama или vLLM: первая ставится одной командой и подходит для экспериментов, вторая даёт высокую пропускную способность для продакшна. Обе поднимают API, совместимый с привычными клиентскими библиотеками, так что интеграция в существующие сервисы сводится к смене адреса. Для изображений — ComfyUI или Automatic1111, для речи — готовые сборки Whisper.

Порядок действий: установить драйверы NVIDIA и CUDA нужной версии, поставить Docker, запустить выбранный инструмент в контейнере, скачать веса модели, проверить работу на десятке типовых запросов. На это уходит один вечер, если сервер уже есть. Дальше — подключить модель к своим данным через базу знаний (RAG) и настроить доступ так, чтобы наружу смотрел только защищённый эндпоинт, а не порт модели напрямую.

Типичные ошибки на старте

Самая частая — взять модель побольше «для качества» и упереться в память: она либо не запустится, либо будет отвечать минуту на простой вопрос. Начинайте с модели, которая уверенно помещается в видеопамять, и увеличивайте размер только при доказанной потребности. Вторая ошибка — забыть про безопасность: сервер с открытым портом модели без авторизации через сутки будет обслуживать чужие запросы.

Третья — не считать экономику. Прикиньте объём запросов в месяц, сравните стоимость аренды с текущим счётом за API и учтите время специалиста на поддержку. Если своя модель выигрывает — переходите; если нет — возможно, локальный запуск нужен только для чувствительных данных, а остальное можно оставить в облаке.