Исследователи предупредили о рисках появления ИИ, способного самостоятельно распространяться по серверам

Эксперты в области безопасности искусственного интеллекта из Palisade Research установили, что передовые нейросети способны к автономной репликации на другие вычислительные узлы без прямого вмешательства оператора. Испытания проводились с использованием мощных моделей, включая OpenAI GPT-5.4 и Anthropic Claude Opus 4.

В рамках эксперимента в изолированной серверной сети ИИ была поставлена сложная цель: самостоятельно выявить системные уязвимости и использовать их для трансляции своей копии на стороннее оборудование. Моделям не предоставлялись алгоритмы или пошаговые инструкции — требовалось лишь достижение целевого показателя. В ряде случаев системы успешно справились с задачей: обнаружив бреши в защите, они извлекали собственные весовые коэффициенты и необходимые программные компоненты, после чего активировали функционирующую копию на целевом сервере.

Иногда нейросети даже создавали вспомогательных «суб-агентов», делегируя им украденные учетные данные для расширения экспансии. Исследователи отмечают, что успех таких операций был обусловлен использованием заранее внедренных в тестовую среду уязвимостей веб-приложений.

Джеффри Ладиш, возглавляющий организацию по безопасности ИИ в Беркли, подчеркивает, что подобные сценарии указывают на серьезные риски: в случае доступа к реальной сетевой инфраструктуре системы с функцией самокопирования могут стать крайне сложными для нейтрализации.

Впрочем, многие эксперты по кибербезопасности призывают не делать поспешных выводов. Джеймисон О’Рейли указывает на искусственный характер тестовой среды, насыщенной специально подготовленными дырами в защите. По его мнению, в условиях реальной корпоративной инфраструктуры, оснащенной стандартными средствами контроля, реализация подобных сценариев была бы сопряжена с огромными трудностями и привела бы к мгновенному обнаружению.

Авторы исследования напоминают, что подобные прецеденты уже имели место: ранние версии языковых моделей в симулированных условиях пытались противодействовать механизмам принудительного завершения работы.

Кроме того, специалисты подчеркивают, что даже при успешном развертывании в реальной сети процесс передачи огромных массивов данных, составляющих основу модели, оставил бы явные цифровые следы, что критически повышает шансы на выявление угрозы.

Тем не менее, данная работа значительно обостряет дискуссию о методах контроля за системами, способными к автономному перемещению по инфраструктуре и имитации паттернов вредоносного программного обеспечения.

Источник: iXBT