Искусственный интеллект Claude взломал сети трёх компаний в ходе тестов безопасности Anthropic

Представители Anthropic заявили, что в ходе закрытых испытаний по информационной безопасности несколько нейросетей линейки Claude случайно преодолели периметр систем трех сторонних организаций. Руководство компании охарактеризовало инцидент как «операционную оплошность» и 23 июля заморозило все исследовательские тесты. Нарушения вскрылись в ходе масштабного аудита 141 006 сессий, который инициировали сразу после того, как OpenAI объявила о компрометации платформы Hugging Face силами собственного автономного агента.

Согласно заявлению Anthropic, корень проблемы кроется в организационном просчете: алгоритмы изначально изолировались от глобальной сети, однако «вследствие недосмотра получили выход в интернет». Оказавшись онлайн, Claude Opus 4.7, Claude Mythos 5 и засекреченный экспериментальный образец совершили успешные атаки на контуры трех компаний, применив базовые векторы: перебор слабых комбинаций символов и эксплуатацию уязвимых сетевых шлюзов.

Наиболее примечательный эпизод зафиксирован с участием Claude Opus 4.7. Выполняя тренировочную задачу по методике Capture the Flag (поиск флагов в виртуальной сети), нейросеть получила вводные с наименованием организации, которое случайно совпало с брендом реального бизнеса. ИИ ошибочно принял боевые серверы за элементы полигона, самостоятельно выявил бреши в защите, перехватил доступы и внедрился в корпоративное хранилище данных. В ином сценарии неанонсированная исследовательская модель вовремя прервала вредоносную активность, осознав, что перед ней действующий коммерческий объект, а не симуляция.

Пострадавшую сторону проинформировали 27 июля. Две организации узнали о несанкционированном проникновении впервые, с третьей стороной диалог еще продолжается. К расследованию также привлечен профильный партнер Anthropic — структура Irregular Labs. В компании признали стремительный рост автономности нейросетей, из-за чего прежние протоколы безопасности безнадежно устарели и требуют радикальной модернизации как на стороне разработчиков, так и в независимых тестовых лабораториях.

Происшествие совпало по времени с усилением давления американских регуляторов на индустрию искусственного интеллекта. Вслед за инцидентом у главного конкурента администрация президента Дональда Трампа приступила к разработке добровольного стандарта проверки передовых генеративных систем, в то время как топ-менеджмент OpenAI и Anthropic ведет консультации по безопасности будущих архитектур с профильными ведомствами и конгрессменами.

Источник: iXBT