Разработчик и поклонник Minecraft под ником Sammyuri создал необычный проект CraftGPT, опубликованный на GitHub.

Это огромный компьютер на редстоуне, способный запускать небольшую языковую модель, обученную на датасете TinyChat. Постройка поражает масштабами — она занимает область 1020х260х1656 блоков, что составляет около 439 миллионов блоков. Система действительно работает, но производительность крайне низкая: ответ на запрос формируется за несколько часов.

Для демонстрации проекта было снято видео с помощью мода Distant Horizons, который позволил показать всю конструкцию целиком. Несмотря на масштабы, CraftGPT нельзя рассматривать как полноценную замену реальным языковым моделям. По словам автора, модель часто сбивается с темы, допускает грамматические ошибки или генерирует бессмысленные тексты.

Внутри проекта реализованы токенайзеры, матричные множители и другие модули без использования командных блоков или дата-паков. Модель включает 5.08 млн параметров, размер скрытого слоя 240, словарь на 1920 токенов, 6 слоев и контекстное окно на 64 токена. Большинство весов квантизированы до 8 бит, а embedding и LayerNorm сохраняют точность в 18 и 24 бита.

Даже с использованием Minecraft High Performance Redstone Server, увеличившего tick rate примерно в 40 000 раз, производительность остается очень низкой. Ответ на простой запрос занимает около двух часов, что делает CraftGPT скорее экспериментом, чем инструментом для практического применения.