Искусственный интеллект разгадывает советские загадки на внимательность

Для сопоставления мы подобрали две классические советские загадки, активно тиражируемые в сети (первоисточник материалов доступен здесь). Чья же аналитика окажется острее, а наблюдательность — глубже? Какая системная архитектура позволит заметить больше деталей?

В качестве разминки предложим нейросетям простое поисковое задание (иллюстрация ниже, взято отсюда). ИИ должен был обнаружить 10 заданных объектов на первом изображении и отыскать их на втором.

На этом этапе к тестированию продвинутых мультимодальных языковых моделей (VLM) подключилась специализированная система детекции Owlv2 (OWL-ViT v2) от Google (актуальные поколения развивались в период 2024–2025 годов). Чтобы осознать причины столь разных ответов, коротко разберем особенности их строения.

Перейдем непосредственно к итогам. Прагматичная инженерная модель Owlv2 попыталась охватить полотном всё изображение целиком, что вполне закономерно: она изначально создавалась для точного позиционирования ограничивающих рамок по текстовому описанию или визуальному эталону.

Что же пошло не так? Ответ прост. Модель тренировалась на фотографиях реальной действительности, а не на графических иллюстрациях; кроме того, плотно нагроможденные в тележке предметы существенно осложнили анализ. Учитывая далеко не самую передовую архитектуру, Owlv2 отработала достойно: удалось вычленить пару позиций из искомого перечня (конфету на нижней полке и леденец справа посредине).

Qwen успешно справился с частью поиска, однако не избежал промахов. Ниже приведены фрагменты его рассуждений, отчетливо показывающие: когда нейросеть не способна распознать истину, она начинает банально домысливать. В этом кроется главная сложность интерпретации работы алгоритмов в нетривиальных сценариях — ИИ не умеет честно признаться: «Я не владею информацией», предпочитая имитировать экспертную уверенность.

1. Конфета (2): Вероятно, это оранжевый короб на нижнем ярусе (второй слева) либо оранжевые стикеры на синих бутылках наверху. К тому же очертания банта напоминают галстук-бабочку.

2. Розовый силуэт / печенье (3): На молочных пачках «MILK» (центральная полка, по краям). Там нанесена розовая мордочка коровы или свинки, визуально созвучная этому предмету.

3. Мороженое (4): Ребенок на стеллаже тянется к синей емкости (напоминающей стаканчик с мороженым) либо придерживает ее. Синие бутылки на верхнем уровне также близки по форме.

4. Пончик (5): Внутри тележки, под бананами и ананасом, находится круглый хлеб или багет, смахивающий на пончик. Плюс на нижней полке крайняя желтая пачка демонстрирует округлый коричневый элемент (пончик).

5. Клубника (6): В тележке изобилие алых яблок, схожих с клубникой по тону. Также сюда можно отнести арбуз (красный с зеленым).

6. Пряничный человечек (7): Удлиненный хлебный батон в тележке перекликается с пряником по цвету.

7. Кусок торта (9): Розовая коробка в руках женщины или синий бокс у мальчика. Многослойные молочные упаковки тоже отдаленно напоминают многоярусный торт.

8. Машинка (10): Сама продуктовая тележка выступает единственным колесным средством, ассоциирующимся с транспортом.

Любопытно, что Grok пошел по пути наименьшего сопротивления: не видишь объект — сгенерируй его в фантазиях. В результате на рисунке внезапно материализовался пончик, а контуры пряничного человечка стали куда более явными.

Визуальный энкодер сжимает кадр, неизбежно отбрасывая часть пиксельной информации. В дальнейшем Grok «отыскивает» требуемое, вероятно, не находя прямых пересечений, но раз в задании сказано об их наличии — достраивает недостающее. Более того, для вырисовки округлых форм декодер фактически пересобирает картинку поверх сжатых токенов, что и порождает столь существенные визуальные искажения.

Перейдем к советским головоломкам. Суть подобных тестов на сообразительность и наблюдательность предельно прозрачна: изучив иллюстрацию, требуется дать ответы на ряд вопросов. Существовал риск, что модели уже сталкивались с подобными датасетами при обучении, из-за чего проверка утратила бы смысл. Однако фактические результаты доказали обратное, и вы можете ознакомиться с ними ниже. В финале мы подсчитаем баллы, оценим обоснованность выводов и назовем триумфатора.

Первая загадка

1. Каково общее число туристов в этом лагере?

2. Когда они прибыли на место: сегодня или несколько суток назад?

3. Каким способом они сюда добрались?

4. Близко ли расположено ближайшее населенное пункты?

5. Куда направлен ветер: с севера или юга?

6. Какая сейчас пора дня?

7. Куда отлучился Шура?

8. Кто вчера заступал на дежурство (укажите имя)?

9. Какое сегодня число и месяц?

Оценим вердикты нейросетей, начиная с Qwen. Ответ на стартовый вопрос:

Внимательно изучив полотно, я насчитываю 3 туристов:

1. Мальчик слева внизу — присел на корточки, копошится в рюкзаке.

2. Мальчик слева вверху — стоит у ствола дерева, удерживая коробку.

3. Мальчик справа — на переднем плане, держит сачок для ловли бабочек.

Данный вывод подкрепляется надписью на правом дереве, где зафиксирован график дежурств:

• КОЛЯ — 7

• ПЕТЯ — 8

• ВАСЯ — 9

Три имени равняются трем туристам в лагере! ️

К сожалению, Qwen не разглядел сачок за зарослями и присутствие четвертого имени в расписании (хотя кто-то из ребят мог дежурить повторно, поэтому данный нюанс мы прощаем). После небольшой подсказки о наличии четырех мальчиков (ради справедливости аналогичный намек получил и Grok) были получены следующие ответы. (В скобках под пунктами приведены ремарки автора статьи.)

2. Когда они сюда приехали? Несколько дней назад. Между стволами деревьев правее палатки просматривается паутина — она физически не способна образоваться за одни сутки.

3. На чем они сюда приехали? На лодке. К правому дереву прислонены весла.

4. Далеко ли до ближайшего селения? Близко. В нижнем левом углу гуляет курица, что прямо указывает на близкое соседство фермы или деревни.

5. Откуда дует ветер? С юга. На палатке колышется вымпел. Кроме того, легкая одежда детей и арбуз на столе намекают на теплую погоду, следовательно, ветер южный.

(из комфортной погоды вовсе не вытекает южное направление ветра)

6. Какое сейчас время дня? Полдень либо ранний вечер. Тени от предметов направлены вправо и имеют умеренную длину — светило расположено не у зенита, но и не у горизонта.

7. Куда ушел Шура? Ловить бабочек. Мальчик справа вооружен сачком — это и есть Шура (его имя отсутствует в сегодняшнем графике).

8. Кто вчера был дежурным? Петя. На древесной дощечке указано: Коля — 7, Петя — 8, Вася — 9. Коль скоро на дворе 9-е число, вчера (8-го) дежурил Петя.

9. Какое сегодня число какого месяца? 9 августа. На столе красуется арбуз (вызревающий к августу), а замыкающая строчка графика дежурств — цифра 9. Значит, на календаре 9 августа.

График дежурств составлен наперед.

Теперь обратимся к выводам Grok (ответ на первый вопрос совпал с позицией Qwen).

2. Когда приехали?
Несколько суток назад.
На табличке дежурств уже значатся 8-е и 9-е числа — лагерь разбит не вчера.

(график вполне могли составить заранее)

3. На чём приехали?
Пешим порядком (либо с самокатом).
Никакого намека на автомобиль, велосипед или лодку нет. Присутствуют лишь самокат и рюкзаки — стандартный набор пешего туриста.

(весла благополучно выпали из поля зрения)

4. Далеко ли до ближайшего селения?
Нет, в шаговой доступности.
Имеется самокат — на нем сподручно смотаться в деревню и обратно. Будь цивилизация далеко, самокат бы не брали.

(и снова этот злополучный самокат)

5. Откуда дует ветер?
С севера.
Палатка развернута входом к нам (традиционная установка — фасадом на юг, спиной к зябкому северному ветру). Сетка для бабочек также чуть наклонена в ту же сторону.

6. Какое сейчас время дня?
Дневное время, ближе к полудню.
Человеческие тени коротки (практически под ногами), солнце высоко. Вдобавок стол уже сервирован (расставлены приборы), но трапеза еще не началась.

7. Куда ушёл Шура?
В деревню.
Его нет среди трех изображенных фигур, а самокат оставлен наготове (с сумкой). Вероятно, отправился за провизией — на подстилке лежит лишь один арбуз, а приборов заготовлено на четверых.

8. Кто вчера был дежурным?
Коля.
На расписании дежурств читается: 8-е — Коля, 9-е — Петя. Сегодня 9-е, следовательно, вчерашним дежурным был Коля.

9. Какое сегодня число какого месяца?
9 августа.
На табличке дежурств зафиксировано 9-е число. Арбуз плюс бабочки и зелень листвы — классический конец лета, август.

Итоги

Позиции нейросетей существенно разошлись, что представляет огромный исследовательский интерес. Очевидно, кто справился с испытанием лучше, а кто потерпел фиаско. Уделим пару слов разбору.

Grok по непонятной причине зациклился на самокате, хотя вышло забавно, так что строго судить его не будем. Определенная внутренняя логика в его рассуждениях все же прослеживается.

Истинные ответы (по версии первоисточника):

1. Четверо (если присмотреться, сервировка стола рассчитана на 4 персоны, а в графике дежурств значатся 4 имени)

2. Не сегодня (наличие паутины между палаткой и деревом выдает, что ребята проживают здесь уже несколько дней)

3. На лодке (возле дерева прислонены весла)

4. Нет (присутствие домашней курицы на картинке сигнализирует о близости населенного пункта)

5. С юга (флажок на палатке указывает направление ветра; кроме того, кроны деревьев с одной стороны гуще и длиннее — как правило, южная сторона дерева более развита)

6. Утро (определив стороны света по предыдущему вопросу, можно сориентироваться по сторонам горизонта и оценить направление отбрасываемых теней)

7. Занят ловлей бабочек (из-за палатки виден сачок)

8. Коля (сегодня Коля копошится в рюкзаке с литерой «К», Шура гоняется за бабочками, а Вася увлечен съемкой природы, поскольку из рюкзака с литерой «В» торчит штатив фотоаппарата; значит, сегодняшний дежурный — Петя, а вчерашний, согласно листу расписания, — Коля)

9. 8 августа (судя по графику, раз дежурит Петя, на календаре 8-е число; а созревший на поляне арбуз указывает на август)

   Запишем Qwen 4 балла, а Grok — 2 балла плюс поощрительный бонус за оригинальность мышления.

Вторая загадка

1. В какое время года разворачивается сцена в этой квартире?

2. Какой именно месяц изображен?

3. Посещает ли школу мальчик на иллюстрации или у него каникулы?

4. Проведен ли в помещение водопровод?

5. Кто еще проживает в жилище помимо отца и сына?

6. Какова профессиональная деятельность отца?

Обратимся к ответам моделей, на сей раз без подсказок. Первым отвечает Qwen.

1. В какое время года показана эта квартира? Зимой — на окнах висят плотные занавески, внутри тепло и уютно, а за стеклом, судя по всему, холодно (окна наглухо закрыты).

(по логике нейросети, занавески и закрытые окна бывают исключительно зимой, а с наступлением весны шторы, видимо, сдают на склад)

2. В какой месяц? На настенном календаре слева, судя по всему, запечатлена зима (вероятно, декабрь, январь либо февраль).

(занимательно: в каких именно деталях календаря ИИ разглядел «зиму»)

3. Ходит ли теперь в школу мальчик, которого вы видите, или у него каникулы? Ребенок ходит в школу — облачен в школьную форму/пиджак, сидит за столом с книжным томом, что свидетельствует об учебном процессе, а не о каникулах.

(ну да, рослый мальчик с усами и молодой мужчина без признаков щетины на кухне)

4. Есть ли в квартире водопровод? Да, присутствует — в смежной комнате через распахнутую дверь просматривается человек (отец), находящийся у раковины или умывальника.

5. Кто живет в этой квартире кроме отца и сына? Девочка или дочь — на диване справа валяется кукла, прямо указывая на присутствие в семье ребенка женского пола.

6. Какова профессия отца? Судя по тому, что глава семейства умывает руки в соседней комнате, а также по интеллигентной атмосфере жилья (множество книг), он может быть врачом, педагогом либо иным представителем интеллигенции. Точный ответ требует более глубокого изучения его рабочего пространства.

(забавная деталь: по мнению ИИ, неинтеллигентные граждане руки не моют принципиально)

Далее следует Grok.

1. В какое время года?
Лето.
Оконная створка приоткрыта (легкие задвижки), мальчик в укороченных штанах, на полу расставлены комнатные растения, верхняя одежда и печное отопление отсутствуют.

(валенки и куклы на полу благополучно испарились из ответа)

2. В какой месяц?
Июнь либо июль (экватор лета).
Мальчик отдыхает на каникулах, стоит жара, зеленеют цветы, а настенный календарь (миниатюрные рамочки левее дверного проема) фиксирует летний период.

3. Ходит ли мальчик в школу или у него каникулы?
У него каникулы.
Он проводит дневное время дома в повседневной одежде (не в форме), на дворе лето, занят домашними делами, а не учебой.

4. Есть ли в квартире водопровод?
Да.
Мальчик стоит у тумбы/умывальника в смежной комнате, явно ополаскивая руки или посуду — заметна раковина.

5. Кто ещё живёт в квартире?
Мать (плюс, возможно, младший отпрыск).
На кресле примостился плюшевый мишка, стол покрыт скатертью, выставлены цветы — классические маркеры женского уюта. Мягкая игрушка также намекает на появление младшего ребенка в семье.

(весьма здравое рассуждение насчет порядка и присутствия мамы)

6. Какова профессия отца?
Преподаватель либо научный сотрудник (возможно, литератор).
Он проводит дневные часы за письменным столом, углубленно изучая увесистый фолиант, вокруг разложены бумаги и стоит телефон — типичный портрет интеллектуала, чья деятельность завязана на тексты.

Очевидно, что обе системы пали жертвами галлюцинаций: первая перепутала местами мальчика и его родителя, вторая — выдумала кукол и несуществующий календарь в виде мелких рамок у двери.

Истинные ответы (заимствованные из первоисточника):

1. События происходят зимой (мальчик обут в валенки; печь протоплена, о чем свидетельствует открытая отдушника)

2. Месяц декабрь (оторван самый последний листок календаря)

3. На календаре зачеркнуты первые 7 дней (они уже позади; зимние школьные каникулы начинаются позже, следовательно, мальчик исправно посещает занятия)

4. Буди в квартире централизованный водопровод, обитателям не пришлось бы использовать подвесной рукомойник, изображенный на рисунке

5. Детские куклы служат прямым доказательством того, что в семье растет девочка, судя по всему, дошкольного возраста

6. Медицинская трубка и молоточек для перкуссии однозначно характеризуют отца как врача по профессии

По итогам этого тура Qwen зарабатывает 2 балла; Grok — 1.5 балла (0.5 начислено за пятый вопрос).

Суммарные результаты двух испытаний распределились следующим образом:

Qwen — 6 баллов

Grok — 3.5 балла

Таким образом, логические выкладки Qwen оказались точнее, хотя и он погрешил против абсолютной точности.

Подобные тесты служат отличным инструментом для выявления уязвимостей современных мультимодальных моделей. Qwen продемонстрировал большую рассудительность по сравнению с Grok, однако ни один из алгоритмов так и не приблизился к гибкости человеческой интуиции. Нейросети продолжит «штормить» на подобных задачах, заполняя лакуны как в собственных расчетах, так и в наших ожиданиях. Но на текущий момент очередной балл безоговорочно уходит человеку.

 

Источник