ИИ для поиска сигналов пришельцев спутал с посланиями инопланетян помехи с Земли

Нейросеть, созданная для поиска возможных технологических сигналов внеземных цивилизаций, оказалась не способна надёжно отделять некоторые земные радиопомехи от подлинных сигналов, а часть искусственно внедрённых техномаркеров и вовсе осталась незамеченной.

Автор исследования испытал обученный классификатор на 15 000 внедрённых сигналов десяти типов и пяти уровней интенсивности. В качестве фона использовались реальные данные радиотелескопа Грин-Бэнк. В одном из тестов доля ложных срабатываний составила 62,7%, что сопоставимо с базовой полнотой обнаружения настоящих сигналов — 55,25%.

Трудности возникали и при поиске сигналов, не похожих на привычную для модели узкую линию на спектрограмме. Так, S-образные сигналы классификатор находил с полнотой до 90%, а вот импульсные сигналы и рассеянные всплески практически не отличал от фона. Кроме того, рост интенсивности не всегда повышал полноту обнаружения, а порой приводил к резкому её падению. Даже для узкой линии, близкой к сигналу из обучающей выборки, показатель упал с 59% при одном уровне интенсивности до 9% при более высоком. Причину такого поведения автор пока не выяснил.

Ложные срабатывания связаны с ограниченностью входных данных. Классификатор работал только с ON-панелями — записями, полученными при наведении телескопа на целевую звезду. Контрольные OFF-панели, снятые при наблюдении в стороне от неё, модель не получала. Между тем именно сопоставление ON и OFF позволяет понять, исходит ли сигнал-кандидат от направления на звезду или это земная помеха. Поэтому нейросеть оценивала лишь сходство сигнала с известными образцами и не могла определить его происхождение. Одни типы помех она отбрасывала, но помехи, по форме напоминавшие ожидаемый сигнал, принимала за кандидатов.

Автор также протестировал фильтр, который сравнивает ON- и OFF-наблюдения после усреднения по времени. Для одного из проблемных типов помех доля ложных срабатываний снизилась с 62,7 до 0,7%. Однако вместе с тем фильтр отбросил почти все настоящие обнаружения: из них сохранилось лишь 1,4%, а из обнаруженных помех — 1,2%. Проверку фильтр не выдержал: число ложных тревог удалось сократить, но ценой сопоставимой потери полезных кандидатов. К тому же усреднение ослабляло признаки дрейфующих сигналов, которые могли бы пригодиться при сравнении наблюдений.

Из этих результатов не следует, что нейросети бесполезны в поиске внеземных технологий. Работа указывает на более узкую проблему: проверка на отложенных данных, схожих с обучающей выборкой, не гарантирует надёжности при столкновении с незнакомыми сигналами и разнообразными земными помехами. Стоит учесть, что эксперименты проводились с одной обученной моделью и синтетическими сигналами, внедрёнными в реальные фоновые записи. Следующим шагом станет проверка других вариантов обучения и моделей, которые учитывают не только форму кандидата, но и различия между ON- и OFF-наблюдениями с поправкой на изменение частоты сигнала во времени.

Источник: iXBT