Загрузка нейросетевых моделей из открытых репозиториев сегодня стала такой же простой, как когда-то скачивание файлов из торрентов. Но за этой доступностью скрывается серьезный риск: вместе с полезной моделью в корпоративную среду могут попасть уязвимости или даже намеренно скомпрометированные веса.

Чтобы решить эту проблему, Cisco представила новый инструмент — Model Provenance Kit.

Почему открытые модели становятся угрозой

Платформы вроде Hugging Face уже содержат миллионы моделей. Их активно копируют, дорабатывают, объединяют и публикуют заново. В результате проследить происхождение конкретной версии становится практически невозможно.

В такой среде теряется контроль над тем, где заканчивается оригинальная разработка и начинаются сторонние изменения. Это превращает аудит и анализ поведения модели в сложную задачу, особенно если речь идет о критически важных системах.

Риск «отравленных» моделей и скрытых уязвимостей

Главная проблема — отсутствие прозрачности. Если модель обучалась на искаженных данных, она может выдавать некорректные результаты в реальных условиях. Для бизнеса это означает потенциальные ошибки в автоматизированных решениях.

Еще опаснее сценарий, при котором модель модифицируют намеренно. В её веса могут быть встроены скрытые механизмы, активирующиеся при определенных условиях — фактически это бэкдоры, способные нарушить безопасность всей системы.

Как работает Model Provenance Kit

Инструмент от Cisco предлагает системный подход к проверке происхождения моделей. Он написан на Python и использует CLI-интерфейс для создания уникального «цифрового отпечатка».

Вместо доверия документации анализируется целый набор технических характеристик:

• метаданные и архитектура модели
• особенности токенизаторов
• структура эмбеддингов и нормализационных слоев
• энергетические параметры работы

Такой подход позволяет выявлять изменения даже там, где они не задокументированы.

Два режима проверки: сравнение и анализ базы

Model Provenance Kit работает в двух ключевых сценариях:

• Compare — прямое сопоставление двух моделей, чтобы понять, являются ли они связанными версиями или одна из них была изменена
• Scan — поиск совпадений в базе отпечатков, которую формирует Cisco

Второй режим особенно полезен, когда документация отсутствует или вызывает сомнения. Он помогает восстановить историю модели и определить её происхождение.

Почему это важно уже сейчас

Современные ИИ-модели редко остаются в исходном виде. Их постоянно дообучают, объединяют и оптимизируют. В такой экосистеме контроль происхождения становится критически важным элементом безопасности.

Model Provenance Kit уже доступен на GitHub и может стать базовым инструментом для компаний, работающих с open source ИИ.