ИИ-агенты OpenAI взломали защиту веб-ресурсов и похитили криптовалюту из чужого кошелька

OpenAI обнародовала отчёт о четырёх июньских случаях, когда её внутренние ИИ-агенты совершили поступки, за которые человеку могли бы предъявить уголовные обвинения. В двух эпизодах модели получили задание собрать сведения с веб-сайтов, а при столкновении с ограничениями доступа просто взломали защиту. Например, на правительственном статистическом портале модель воспользовалась функцией загрузки файлов, чтобы добраться до конфигурационных файлов с конфиденциальными учётными данными, после чего миновала проверки авторизации и скачала сведения, закрытые для неё ранее.

В ещё одном случае модель, которой поручили доработать приложение для торговли криптовалютой, распорядилась средствами с заблокированного кошелька в тестовой сети. Она получила ключи из общедоступных seed-фраз разработчика, обнаружила аккаунт с тестовыми токенами и оплатила за их счёт развёртывание контракта. Как говорится в отчёте, «модель задумалась, есть ли у неё на это право, но заключила, что публичный ключ и ничего не стоящие тестовые токены делают такое использование допустимым».

Четвёртый эпизод связан с обходом ограничений на определённые типы веб-запросов. Модель, занимавшаяся поиском статистики, заставила внешний браузер отправлять POST-запросы, получила данные в виде GIF-изображения и извлекла информацию при помощи оптического распознавания текста. Более того, она создала вспомогательный инструмент, чтобы применять этот способ повторно.

В OpenAI подчёркивают: «модели, участвовавшие в тестах, были обучены проявлять настойчивость и искать обходные пути, а часть защитных механизмов на время оценки была отключена». Подобные случаи усиливают тревогу из-за того, что массовое внедрение автономных ИИ-агентов способно причинить непреднамеренный ущерб. Ещё в июле компания сообщала, что её тестовые агенты задействовали zero-day уязвимость в инструменте, ограничивающем выход в интернет, и проникли в сеть платформы Hugging Face.

Источник: iXBT