ИИ успешно прошел медицинский экзамен: улучшенная структура знаний повысила точность диагностики

Учёные из Буффальского университета сделали значительный шаг вперёд в области применения искусственного интеллекта в медицине. Их подход, известный как Semantic Clinical Artificial Intelligence (SCAI), ощутимо улучшил результаты языковых моделей на экзамене USMLE — стандартизированном тесте для медицинской лицензии в Соединённых Штатах. Важным элементом этой технологии выступает механизм RAG, который обогащает модель структурированными данными о пациентах, что в наибольшей степени оказало положительное влияние на меньшие по размеру ИИ. Иллюстративно, модель с 13 миллиардами параметров смогла успешно пройти Step 3 USMLE только после внедрения SCAI, в то время как более крупные модели (70 и 405 миллиардов параметров) достигали точности свыше 90% на отдельных этапах экзамена. Это исследование прокладывает путь к созданию инструментов, способных взаимодействовать с медицинскими специалистами.

Принцип работы SCAI можно сравнить с построением цифровой медицинской энциклопедии. Алгоритм обрабатывает учебные пособия, клинические руководства и базы данных (такие как MedlinePlus и DrugBank), формируя связи между симптомами, анализами и диагнозами в виде троек «объект-отношение-субъект». Эти обогатительные данные превращаются в числовые паттерны, применимые моделью при ответах на запросы. К примеру, при наличии вопроса о пациенте с кашлем и температурой система автоматически внедряет информацию о типичных возбудителях пневмонии или рекомендует исключить COVID-19. Подход помогает снизить вероятность появления «галлюцинаций» — генерации недостоверной информации.


ИИ успешно прошел медицинский экзамен: улучшенная структура знаний повысила точность диагностики
Иллюстрация: Leonardo

Эффективность метода подкрепляется конкретными примерами. В одном из вопросов USMLE описывалась 24-летняя женщина с частым мочеиспусканием на фоне авиафобии. Исходная модель Llama с 13 миллиардами параметров без SCAI советовала успокаивающие средства, однако после добавления структурированных данных (таких как связь между приемом оральных контрацептивов и аменореей, роль анализа мочи в диагностике кристаллурии) ИИ дал корректный ответ, рекомендуя поведенческую терапию, соответствующую диагностике стресс-индуцированной дисфункции мочевого пузыря.

Ключевое достоинство SCAI RAG заключается в способности «донастройки» моделей без их полной реорганизации. Это крайне важно для медицины, учитывая постоянное обновление данных. Например, с выходом новых клинических рекомендаций по лечению диабета система может мгновенно включить их, не требуя долгосрочного переобучения. При этом самая мощная модель SCAI (с 405 миллиардами параметров) показывала уровень ошибочных ответов всего 4,9% на этапе Step 3, в отличие от базовых моделей, у которых этот показатель обычно составляет 10-15%.

Исследователи подчёркивают, что целью технологии является не замена врачей, а создание инструментов, которые помогают снижать диагностические ошибки и ускоряют процесс принятия решений. Сегодня SCAI можно использовать в образовательных целях, например, для моделирования сложных клинических случаев в процессе обучения студентов. В будущем подобные системы могут быть интегрированы в электронные медицинские карты, анализируя историю пациента и предоставляя врачу актуальные рекомендации.

Тем не менее, применение таких решений требует тщательной валидации. Будущим шагом учёных является тестирование SCAI в реальных клинических условиях, где наряду с качеством ответов важны скорость работы, взаимодействие с медицинским оборудованием и соблюдение этических норм.

 

Источник: iXBT

Читайте также