Парадокс ИИ: модели не могут «прочитать» стрелочные часы
Мультимодальные системы искусственного интеллекта демонстрируют впечатляющее умение одновременно анализировать текст, изображения и видео — от распознавания рентгеновских снимков до идентификации объектов на дорогах беспилотных автомобилей. Однако недавнее исследование выявило их полную неспособность определить время по аналоговым часам, в отличие от любого школьника.
Испытание на 43 000 синтетических циферблатов
Команда учёных из Мадридского и Миланского политехнических университетов вместе с коллегами из Вальядолидского университета создала обширный датасет более чем из 43 000 изображений аналоговых часов, сгенерированных алгоритмами. Четыре разных мультимодальных модели тестировались на способность правильно называть время.
Первоначально ни одна из систем не смогла дать верный ответ. После дообучения на дополнительных 5 000 изображениях точность действительно выросла, но только на близких по стилю данных. При встрече с новой коллекцией циферблатов показатели вновь упали.
Этот результат подчёркивает классический недостаток современных моделей: отличная работа на знакомых примерах и полная потеря качества при столкновении с ранее не встречавшимися сценариями.
«Тест Дали»: деформированные циферблаты
Чтобы заглянуть глубже в проблему, учёные предложили системам «прочесть» время на искажённых часах, напоминающих сюрреалистические образы Сальвадора Дали, а также на циферблатах со стилизованными или необычными стрелками.
Если человек без труда воспринимает время даже на искривлённых или фантазийных циферблатах, то модели теряются при определении ориентации стрелок и вовсе не справляются с нестандартным дизайном наконечников.
Каскад ошибок: эффект домино
Процесс «чтения» аналоговых часов состоит из нескольких последовательных этапов: выделение стрелок, определение их угла и ориентации относительно цифр, а затем вычисление точного времени. Ошибка на любом шаге вызывает цепную реакцию некорректных выводов.
Почему это важно
На первый взгляд неспособность распознать время по стрелочным часам может показаться забавной оплошностью. Однако в критичных приложениях — от медицинской диагностики до автопилотов — подобные «мелкие» сбои визуального анализа способны привести к серьёзным последствиям.
Учёные призывают к расширенному тестированию ИИ-моделей на максимально разнообразных сценариях, чтобы гарантировать их надёжность в реальных условиях.
Смогут ли искусственные системы когда-нибудь безупречно определять время по аналоговым часам? Как иронично заметили авторы исследования: это покажет только время.
Следите за обновлениями в IT вместе с нами — ваш Cloud4Y и наш канал в Telegram.
