У Minecraft створено аналог ChatGPT під назвою CraftGPT

Це величезний комп'ютер на редстоуні, здатний запускати невелику мовну модель, навчену на датасеті TinyChat. Споруда вражає масштабами — вона займає область 1020х260х1656 блоків, що становить близько 439 мільйонів блоків. Система дійсно працює, але продуктивність дуже низька: відповідь на запит формується за кілька годин.

Для демонстрації проєкту було знято відео за допомогою моди Distant Horizons, який дозволив показати всю конструкцію повністю. Незважаючи на масштаби, CraftGPT не можна розглядати як повноцінну заміну на реальні мовні моделі. За словами автора, модель часто збивається з теми, допускає граматичні помилки чи генерує безглузді тексти.

Усередині проєкту реалізовані токенайзери, матричні множники та інші модулі без використання командних блоків чи дата-паків. Модель включає 5.08 млн параметрів, розмір прихованого шару 240, словник на 1920 токенів, 6 шарів та контекстне вікно на 64 токени. Більшість ваг квантизовані до 8 біт, а embedding і LayerNorm зберігають точність 18 і 24 біти.

Навіть із використанням Minecraft High Performance Redstone Server, який збільшив tick rate приблизно в 40 000 разів, продуктивність залишається дуже низькою. Відповідь на простий запит займає близько двох годин, що робить CraftGPT швидше за експериментом, ніж інструментом для практичного застосування.