ИИ играет в «Данетки» и «Поле чудес»: Яндекс создал тест на логику для нейросетей

Яндекс и Школа анализа данных (ШАД) представили в открытом доступе MTGBench — бенчмарк, который проверяет, насколько успешно нейросети решают сложные задачи методом пошаговых рассуждений. Инструмент размещён на GitHub, а описывающая его научная статья принята на конференцию EMNLP 2026.

Основу MTGBench составили семь текстовых игр, среди которых «Поле чудес», «Данетки», «Элиас» и Wordle. С их помощью можно выяснить, как модели справляются с новой информацией, опираются на свои прежние ответы, выстраивают план действий и не допускают противоречий. При оценке учитывается не только верность итогового ответа, но и число шагов, потребовавшихся для его получения. Все задания доступны на русском и английском языках.

Авторы проверили 16 нейросетей, включая модели семейств Qwen, Gemini и GPT. Выяснилось, что режим рассуждений приносит наибольшую пользу в задачах, где нужно работать с буквами, символами и подсказками. Когда же требовалось извлекать знания и улавливать смысл, выигрыш был скромнее и зависел от конкретной модели. Кроме того, хороший результат в одной игре не гарантировал успеха в остальных.

Также оказалось, что с русскоязычными заданиями нейросети справлялись слабее, чем с англоязычными. В сравнении с людьми лучшие модели с активированным режимом рассуждений набрали более высокие средние баллы во всех семи играх. Бенчмарк рассчитан на разработчиков и исследователей, которым нужно сопоставлять модели между собой и подбирать оптимальные решения под конкретные задачи.

Источник: iXBT