Блогер создал в Minecraft языковую модель CraftGPT — ChatGPT на редстоуне и кубах

Игроки продолжают изобретать всё новые и неожиданные способы применения редстоуна.

Кубическая песочница Minecraft предоставляет богатую платформу для самовыражения. Автор канала sammyuri на YouTube решил собрать миниатюрную языковую модель.

Размеры его «малой» модели CraftGPT составляют 1020 × 260 × 1656 блоков. Для съёмок он воспользовался модом Distant Horizons, поэтому некоторые элементы выглядят иначе — в частности редстоун отображается с пониженной детализацией.

Для обучения модели sammyuri использовал Python и набор данных TinyChat, содержащий простые англоязычные диалоги.

Модель располагает словарём из 1920 токенов и состоит из 6 слоёв; контекстное окно составляет 64 токена, что подходит лишь для очень кратких разговоров.

Источник: iXBT.games