Исследование MIT: игнорирование отрицаний при диагностике с помощью ИИ-моделей ставит под угрозу пациентов, но есть решение

Учёные из Массачусетского технологического института (MIT) обнаружили серьёзный пробел в популярных моделях, которые совмещают обработку изображений и текста (VLM — Vision-Language Models). Эти системы, применяемые в медицине для анализа снимков, неправильно понимают слова отрицания, такие как «нет» или «не». Например, при поиске рентгеновских снимков, где есть отёк тканей, но отсутствует увеличение сердца, модель может предоставить изображения с обоими признаками. Это может вызвать диагностические ошибки, так как сочетание отёка и увеличенного сердца свидетельствует о сердечном заболевании, тогда как их разделение указывает на иные причины. Кумайл Альхамуд, аспирант MIT и главный автор исследования, прокомментировал: «Игнорирование отрицаний может привести к катастрофе, если модели внедряются без надлежащей проверки».

Чтобы устранить эту проблему, исследователи разработали специализированный набор данных, содержащий 10 миллионов пар «изображение-подпись», включающих отрицания. После обучения этих моделей точность возросла, особенно в задачах поиска изображений без указанных объектов. Однако профессор Марзиех Гассеми подчеркнула: «Ошибки в таких критически важных аспектах, как отрицания, показывают, что сейчас внедрение VLM в ответственные сферы опасно». Уязвимость объясняется обучением на данных, где преобладают утверждения, почти не имея отрицаний.

В то же время, другое исследование разработало инновационную модель для нейронных сетей — сеть Хопфилда с пластичностью, управляемой входными данными (IDP). Классическая модель Хопфилда, представляющая память как переход к ближайшему «стабильному состоянию», не учитывала динамику внешних сигналов. Новая модель IDP позволяет входным данным изменять синаптические связи, перестраивая энергетический ландшафт сети. Это делает её устойчивой к шуму: помехи не мешают работе, а, наоборот, помогают системе выходить из локальных минимумов, находя более значимые воспоминания. Например, при сбоях во входных сигналах модель IDP сохраняет стабильность, интегрируя прошлую информацию с текущей.

Также учёные выявили, что извлечение памяти в IDP зависит от «коэффициентов заметности» — меры соответствия входных данных сохранённым шаблонам. Если коэффициенты ниже определённого уровня, сеть оказывается в «состоянии замешательства», не выдавая результаты. Однако при достаточной заметности модель эффективно классифицирует даже комплексные сигналы. Это открытие является важным для разработки систем, которые постоянно обучаются и адаптируются к новым данным без потери предыдущих навыков.

Оба этих исследования подчеркивают необходимость пересмотра подходов в области искусственного интеллекта. Уязвимости VLM требуют более ответственного использования в медицине и промышленности, в то время как модель IDP открывает двери к созданию адаптивных систем, имитирующих биологические механизмы памяти. «Взаимосвязь IDP с архитектурой трансформеров и механизмами внимания — ключ к будущим достижениям в машинном обучении», — заключили авторы.

Источник: iXBT