GPT-6-Astra справилась с 49 из 50 задач по теоретической физике и обнаружила ошибки в расчётах учёных

Группа физиков выяснила, насколько ИИ-агенты способны справляться с задачами исследовательского уровня, и результат оказался впечатляющим: GPT-6-Astra решила 49 из 50 заданий. В нескольких случаях правильные ответы модели сперва были восприняты как ошибочные, однако перепроверка показала, что просчитались сами исследователи.

Для испытания составили 50 ещё не публиковавшихся задач из различных разделов теоретической физики. Как оценивают авторы, эксперт мирового класса тратит на одну такую задачу почти целый день, а специалисту из смежной дисциплины потребовалось бы заметно больше времени. Задания были нацелены на проверку умения применять известные методы, а не на способность сделать принципиально новое открытие.

Когда модели разрешили пользоваться интернетом, научной литературой и вычислительными инструментами, Astra показала точность 98%, затратив в среднем менее $3 на задачу. Opus 5.5 справился с 46 задачами из 50, Gemini 3.8 Flash — с 34, DeepSeek-V4.1-Flash — с 27, а GLM 5.3 — с 21.

Ряд ответов Astra авторы поначалу сочли неверными, но после консультаций с экспертами обнаружили изъяны в собственных решениях. После внесения поправок стало ясно, что расчёты модели были безошибочными. Единственная задача, которую Astra не удалось решить, оказалась не под силу и остальным моделям: нужно было восстановить дифференциальное уравнение по заданной кривой, а неоднозначная формулировка условия затрудняла поиск решения.

Отключение доступа к интернету почти не отразилось на точности моделей. Авторы полагают, что ИИ мог усвоить значительную часть научной литературы и способен воспроизводить нужные формулы без обращения к источникам. Тем не менее, опираясь только на это исследование, полностью исключить влияние обучающих данных нельзя.

Успешные расчёты ещё не означают, что ИИ готов самостоятельно вести полноценную научную работу в физике. Выбрать по-настоящему значимую проблему, сформулировать верный вопрос и вовремя понять, что пора сменить направление, моделям пока удаётся хуже, чем решать задачи с проверяемым ответом.

Источник: iXBT