Дерматолог сравнил GPT-6 Astra и Claude на 200 кожных образованиях: свёрточная сеть 2015 года оказалась точнее

Я работаю дерматологом. Мне захотелось выяснить, насколько уверенно GPT-6 Astra и Claude Fable 5.1 распознают рак кожи, и результат оказался скромнее, чем я предполагал. В качестве контрольного образца я выбрал свёрточную нейросеть десятилетней давности — и, к моему удивлению, она показала результат лучше.

Перед вами меланома.

Рисунок 1. Инвазивная меланома на ухе толщиной менее 0,8 мм. Обе LLM определили её как себорейный кератоз и заключили, что пациента можно отпускать. CNN распознала меланому. Вверху — клиническая фотография, внизу — дерматоскопический снимок. Изображения: MILK10k, MILK study team, CC BY-NC.

Эти два снимка — клиническую фотографию и дерматоскопическое изображение, сделанное с помощью кожного микроскопа, — я показал GPT-6 Astra и Claude Fable 5.1, одним из самых сильных ИИ-моделей на октябрь 2026 года. Обе назвали образование себорейным кератозом — безобидным бородавчатым новообразованием — и сочли, что пациента можно отпустить. После этого я предложил те же снимки дообученной версии Inception v3. Это свёрточная нейросеть (CNN), которую Google впервые представил в 2015 году; в данном случае её дообучили на открытых дерматологических изображениях. По дерматоскопическому снимку CNN поставила верный диагноз.

Это образование было лишь одним из 200 с подтверждённым биопсией диагнозом, которые я предложил всем трём моделям. CNN правильно определила диагноз (из шести возможных) в 125 случаях (62%). Две передовые LLM справились с 84 и 85 образованиями (42%). Нейросеть десятилетней давности, на дообучение которой ушло около двадцати минут, выявляла рак кожи лучше обеих.

Как проходила проверка

Образования я взял из MILK10k — открытого набора данных, который International Skin Imaging Collaboration опубликовала в 2025 году. Каждое образование в нём снято дважды: клиническим крупным планом и дерматоскопом — подсвеченной увеличительной линзой, которую используют дерматологи. Я случайным образом отобрал 200 образований, и у всех есть гистологическое подтверждение:

• 100 образований, при которых пациента нельзя оставлять без наблюдения: 30 меланом, 25 базальноклеточных карцином, 25 плоскоклеточных карцином (включая болезнь Боуэна) и 20 актинических кератозов;

• 100 образований, при которых пациента можно спокойно отпустить: 50 доброкачественных невусов (родинок) и 50 себорейных кератозов.

Биопсию сделали каждому образованию, в том числе доброкачественным, поэтому распознать их труднее: если родинку решили удалить, значит, она чем-то насторожила врача.

Базальноклеточная карцинома на туловище 75-летнего мужчины. Все три модели поставили верный диагноз.

Инвазивная меланома толщиной менее 0,8 мм, практически без пигмента. GPT-6 Astra приняла её за базальноклеточную карциному, заявив о 95-процентной уверенности. Claude Fable 5.1 и CNN распознали меланому.

Себорейный кератоз на ноге. Обе LLM сочли его актиническим кератозом, а CNN — плоскоклеточной карциномой. Ошиблись все три модели, но ни одна не предложила отпустить пациента.

Рисунок 2. Ещё три из 200 тестовых образований. Вверху — клиническая фотография, внизу — дерматоскопический снимок. Изображения: MILK10k, MILK study team, CC BY-NC.

Языковые модели получали оба снимка и никаких дополнительных данных. Вопросы я формулировал так, как их задал бы практикующий врач: какой из шести диагнозов наиболее вероятен (или «не уверен»), насколько высока уверенность, каков второй по вероятности вариант и можно ли без лечения, биопсии и наблюдения спокойно отпустить пациента. Обе модели работали с одним и тем же промптом при настройках по умолчанию, и ни одна не отказалась отвечать.

CNN я намеренно выбрал не самую современную. Это Inception v3, предобученная на обычных фотографиях; все её слои я дообучил на 68 011 дерматоскопических и клинических снимках из ISIC Archive на одном GPU H100. Перед обучением я исключил из данных (в том числе из валидационной выборки) эти 200 тестовых образований, а также все остальные снимки того же образования или того же пациента. Следовательно, сеть никогда их не видела, а модель и порог по ним не подбирались. CNN анализировала оба снимка каждого образования, объединяла результаты, отдавая основной вес дерматоскопическому, и выбирала из тех же шести диагнозов.

CNN можно опробовать самостоятельно. Как ни удивительно, модель настолько компактна, что целиком работает в браузере телефона через WebGPU, а снимки не покидают устройство. Кнопка случайного примера подбирает снимки из тех же 200 образований.

Диагноз: 62% против 42%

Верный диагноз с первой попытки у двух LLM и у CNN, выбиравшей из тех же шести вариантов. В ячейках указано число правильных ответов из общего количества образований с данной гистологией.

Истинный диагноз	GPT-6 Astra	Claude Fable 5.1	Inception v3
Все 200 образований	84/200 (42%)	85/200 (42%)	125/200 (62%)
Меланома	8/30 (27%)	11/30 (37%)	13/30 (43%)
Базальноклеточная карцинома	25/25 (100%)	18/25 (72%)	24/25 (96%)
Плоскоклеточная карцинома	12/25 (48%)	5/25 (20%)	16/25 (64%)
Актинический кератоз	10/20 (50%)	12/20 (60%)	9/20 (45%)
Невус	16/50 (32%)	33/50 (66%)	37/50 (74%)
Себорейный кератоз	13/50 (26%)	6/50 (12%)	26/50 (52%)

Рисунок 3. Верный первый вариант диагноза.

CNN чаще попадала в цель и в целом, и по большинству диагнозов. Если учитывать и второй вариант, она набрала 173 из 200 против 134 и 138 у LLM. Меланому она распознала в 13 случаях из 30, тогда как LLM — в 8 и 11. Наибольший разрыв проявился на безобидных образованиях: CNN узнала 37 из 50 родинок и 26 из 50 себорейных кератозов, GPT-6 Astra — 16 и 13, а Claude Fable 5.1 — 33 и 6. На базальноклеточной карциноме CNN уступила GPT-6 Astra одним образованием, а на актиническом кератозе проиграла обеим LLM.

Характер ошибок тоже различался. У каждой LLM нашёлся «любимый» ответ: GPT-6 Astra назвала базальноклеточной карциномой 75 образований при реальных 25, включая 14 из 30 меланом, а Claude Fable 5.1 присвоила диагноз актинического кератоза 53 образованиям при 20 настоящих. Ошибки CNN на меланомах были иного рода: из 17 неверных ответов в 8 случаях она приняла меланому за невус и в 6 — за себорейный кератоз.

Все результаты в одной таблице

	GPT-6 Astra	Claude Fable 5.1	CNN (Inception v3)
Верный диагноз (из 200)	84 (42%)	85 (42%)	125 (62%)
Верный диагноз первым или вторым вариантом	134	138	173
Меланома первым вариантом (из 30)	8	11	13
Опасные образования, при которых пациента не отпустили (из 100)	97	96	77 при заранее заданном пороге; 98 или 99 при выровненном
Безопасные образования, при которых пациента отпустили (из 100)	32	22	76 при заранее заданном пороге
Меланомы, при которых пациента отпустили (из 30)	3	4	18 при заранее заданном пороге; 2 или 1 при выровненном

Оговорки

Небольшие выборки. Двухсот образований достаточно, чтобы заметить закономерность, но близкие результаты по ним ранжировать нельзя. К тому же 30 меланом дают широкий разброс именно в самом важном показателе. Каждый случай я прогонял через LLM всего один раз, а ответы от запуска к запуску могут отличаться.

Трудные случаи. Каждое образование прошло биопсию. На обычных снимках из архива CNN разделяла образования, которые можно и нельзя отпускать, заметно лучше: площадь под ROC-кривой составила 0,96 против 0,86 в этом тесте.

Утечка данных. MILK10k находится в открытом доступе с 2025 года, поэтому LLM могли встречать его при обучении; если это так, оно лишь работало бы в их пользу. CNN этот набор точно не видела.

Не передовой уровень. Inception v3 — это лишь базовая модель для сравнения. Современные системы ИИ для диагностики рака кожи опираются на ансамбли визуальных трансформеров, обученных на гораздо большем объёме данных, а сертифицированные продукты на их основе работают существенно точнее.

Если спрашивать как пациент

Если же задать вопрос от лица пациента — предъявить только клиническую фотографию и спросить «нужно ли мне к врачу?», — обе LLM почти всегда рекомендовали обратиться к специалисту, в том числе при безобидных образованиях: для 99 и 98 из ещё 100 меланом, подтверждённых биопсией.

Вывод

Небольшая старая специализированная нейросеть на устаревшей архитектуре распознаёт кожные образования заметно лучше двух передовых LLM.

Проверьте сами

Случаи, промпты, все ответы LLM и код для подсчёта результатов собраны в одном архиве, а CNN доступна по этой ссылке.

Тест разработал я, и клинические решения принимал тоже я. Анализ и первые черновики подготовлены в Claude Code — инструменте Anthropic для программирования, работающем на модели Claude; одна из двух проверенных LLM также создана в Anthropic. Ответы оценивал скрипт на основе данных гистологии.

Изображения взяты из набора данных MILK10k (MILK study team, International Skin Imaging Collaboration) и используются по лицензии CC BY-NC.

Доктор Магнус Линч — врач-консультант, дерматолог и хирург Мооса в больнице Guy’s Hospital, почётный ридер (аналог доцента) в King’s College London. В клинической практике он занимается раком кожи, хирургией Мооса, реконструктивной хирургией лица и лазерными методиками, а в научной работе изучает клеточную биологию рака кожи и рубцов, а также применение ИИ в дерматологии.

 

Источник