Ученые из Юго-Западного исследовательского института (SwRI) провели масштабный сравнительный анализ существующих баз данных лунных кратеров, сформированных с помощью нейросетей, и выявили проблему завышения показателей эффективности. При проверке по унифицированным научным стандартам реальная точность некоторых алгоритмов оказалась более чем в 10 раз ниже декларируемых авторами значений.
Каталоги ударных кратеров служат фундаментальным инструментом в планетологии. Анализируя количество, габариты и плотность распределения этих образований, эксперты вычисляют возраст поверхности небесных тел: поскольку падение астероидов происходит с предсказуемой частотой, на более древних участках их скапливается больше. Любые погрешности в данных критически искажают результаты датировки и понимание эволюции геологической истории Луны и других планет.
Изначально предполагалось, что автоматизированные системы на базе ИИ смогут заменить многолетний ручной труд, оперативно обрабатывая массивы данных колоссального объема. Чтобы выяснить, насколько текущие наработки соответствуют жестким требованиям академической науки, исследователи сопоставили восемь наиболее известных ИИ-каталогов с эталонной базой, которую ведущий автор проекта Стюарт Роббинс вручную формировал на протяжении многих лет.
Исследование показало, что итоговые выводы крайне чувствительны к определению критериев «правильности» распознавания.
В академической среде недостаточно просто детектировать «нечто круглое» — критически важны точные координаты и корректная оценка диаметра. Многие нейросети засчитывали объект как найденный, даже если он был смещен, дублировал уже имеющуюся запись или имел неверные параметры. При использовании мягких метрик такие огрехи оставались незамеченными, искусственно завышая показатели качества.
Как отмечают эксперты, подобные искажения чреваты ошибочными научными выводами. Например, избыточное дублирование кратеров в базе данных может создать ложное впечатление о преклонном возрасте геологического объекта.
Дополнительная проверка выявила неравномерность работы алгоритмов: многие из них успешно справляются с кратерами определенного размера, но показывают неудовлетворительные результаты при попытке масштабирования на другие типы структур. Таким образом, усредненный показатель точности зачастую скрывает серьезные «слепые зоны» модели.
Авторы подчеркивают, что их работа не призывает отказаться от внедрения ИИ в планетологию. Напротив, она подчеркивает острую необходимость в выработке строгих отраслевых стандартов, прозрачных методик тестирования и независимой верификации. Только при соблюдении этих условий нейросетевые инструменты смогут стать надежными помощниками в изучении Луны, Марса и иных объектов Солнечной системы.
Источник: iXBT
