ИИ умеет извлекать данные из научной статьи и считать по ним, но всё равно не понимает, как авторы получили свой результат

ИИ-агенты способны извлекать данные из научных публикаций и проводить вычисления, однако этого зачастую недостаточно, чтобы самостоятельно воспроизвести исследование. В эксперименте по повторению астрономических результатов 12 вариантов обработки одного и того же набора данных дали значения от 2,16 до 3,53 килопарсека, тогда как в оригинальной работе приводилась величина около 2,70 килопарсека. Совпасть с ней удалось лишь одному из подходов. При этом ключевая поправка, без которой результат не воспроизводился, была прямо указана в исходной статье.

Авторы исследования «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» опробовали метод на 14 астрономических работах: одной из The Astrophysical Journal и 13 публикациях из Nature. В 11 из 13 статей Nature были выявлены методологические или интерпретационные неясности, из-за которых в рамках проведённых экспериментов нельзя было однозначно установить последовательность шагов для повторения анализа.

В контрольном примере исследователи рассмотрели 12 заранее заданных вариантов расчёта, в которых сочетались разные способы отбора объектов, маскирования областей неба и учёта поправки к нулевой точке параллакса. Параллакс позволяет оценить расстояние до небесного тела по кажущемуся смещению его положения на фоне более удалённых объектов. Различия в настройках привели к оценкам пространственного масштаба от 2,16 до 3,53 килопарсека вместо опубликованных примерно 2,70. Авторы подчёркивают: исходный результат они не использовали ни для подбора параметров, ни для остановки вычислений, а подходящий вариант обнаружили только после завершения всех 12 анализов.

Особенно показательна причина расхождения. В статье уже фигурировала поправка к параллаксу в +0,02 миллисекунды дуги, но ИИ-агенты не увидели её причинной связи с итогом, пока анализ не продемонстрировал её влияние. Иначе говоря, трудность была не в нехватке сведений и не только в умении найти нужный параметр, а в понимании того, почему его следует применять именно к этим данным и именно в этом исследовании.

Авторы выделяют несколько причин неудачного воспроизведения: ошибку в вычислениях, недостаточно чёткое описание методики и неспособность объединить разрозненные сведения из статьи в цельную логику анализа. Поэтому одно лишь совпадение с опубликованным числом не доказывает, что ИИ восстановил ход рассуждений авторов: результат может получиться случайно либо благодаря одному из нескольких допустимых способов обработки. Точно так же расхождение не обязательно говорит об ошибочности самой научной работы.

Исследователи предлагают оценивать научные ИИ-системы по всему процессу воспроизведения — от выбора данных и настроек до проверки итогов, — а не только по совпадению финального числа с опубликованным. Такой подход помогает выявить решения, остающиеся в статье неявными, поскольку специалисты принимают их исходя из опыта и профессиональных соглашений. Впрочем, даже аудит вычислений не заменяет предметных знаний: чтобы понять, какие допущения обоснованны, а какие меняют смысл результата, системе необходимо восстановить связь между методикой и научной задачей.

Источник: iXBT