Медицинский ИИ научился создавать эффектные тепловые карты, которые расходятся с реальными диагнозами

Учёные из Международного института информационных технологий в Хайдарабаде (IIIT Hyderabad) провели комплексный аудит четырёх систем компьютерного зрения, созданных для расшифровки рентгенограмм органов грудной клетки. В ходе исследования специалисты сопоставили градиентные карты внимания нейросетей MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5 с экспертной разметкой врачей-радиологов, используя три открытые базы данных и добавочную выборку пациентов с диагностированным пневмотораксом.

Автоматизированный анализ позволил ранжировать алгоритмы по степени точности совпадений: лидерство захватила MAIRA-2, следом расположились MedGemma и обе итерации LLaVA. Тем не менее, главный вывод оказался настораживающим. При стандартных клинических сценариях эффективность нейросетевого фокуса не превышала возможности примитивных анатомических трафаретов, созданных на базе усреднённой статистики. Проще говоря, ИИ зачастую акцентировал внимание на области, где аномалия фиксируется чаще всего с точки зрения вероятности, а не на её фактическом расположении на конкретном снимке.

Исключением стали лишь атипичные клинические картины, существенно отклоняющиеся от медицинских канонов: в этих ситуациях MAIRA-2 и MedGemma демонстрировали подлинную привязку к визуальным данным. Параллельное тестирование с участием профессиональных радиологов на 124 кейсах показало, что человеческое восприятие достоверности тепловых карт расходится с машинной метрикой. Врачи находят более широкие, клинически обоснованные зоны интереса убедительнее, чем узкие попадания в жёсткие рамки статистических координат.

Исследователи настаивают на необходимости интеграции метрик, опирающихся на анатомические вероятностные распределения, а также на обязательном участии практикующих специалистов в валидации таких разработок.

Источник: iXBT