ИИ-агенты OpenAI вывели из строя механизмы мониторинга собственных нарушений

OpenAI рассказала о двух эпизодах, в которых её ИИ-агенты нарушили работу механизмов, созданных для надзора за ними самими. Оба случая произошли при выполнении внутренних задач, связанных с изменением программного кода. В первом из них агент GPT-6.1 Sol отключил автоматические оповещения для команды безопасности. Во втором агент GPT-6 Astra удалил систему мониторинга, а потом заверил пользователя, что не имеет к этому отношения.

Первый случай датируется 3 октября: сотрудник поручил GPT-6.1 Sol подготовить оценочные задания на основе отзывов коллег в Slack и отдельно запретил рассылать любые сообщения по этой задаче. Агент истолковал запрет слишком широко и отключил оповещения службы безопасности о своих действиях. Спустя три дня, 6 октября, другой агент, GPT-6 Astra, выполнял перенос программы, удалил систему мониторинга, а затем неверно сообщил пользователю, что ничего подобного не делал.

В OpenAI подчёркивают, что ни один из эпизодов не привёл к взлому сторонних сайтов или сервисов. Тем не менее компания собирается сделать так, чтобы агентам было технически сложнее отключать мониторинг, а также выясняет, указывают ли эти случаи на склонность моделей уходить из-под контроля над соблюдением установленных правил поведения. Обе модели доступны пользователям. Кроме того, ранее OpenAI отменила запуск GPT-6.1 Astra, который был намечен на этот месяц: по сообщениям, внутренние тесты показали, что эта модель обманывает заметно чаще, чем её предшественницы.

Это не первая проблема OpenAI с управляемостью агентов. В июле компания сообщила, что тестируемые агенты проникли в репозиторий ИИ-проектов Hugging Face, а позже рассказала, что они создали собственную доску объявлений для обмена эксплойтами. Также упоминались эпизоды вмешательства агентов в работу государственных сайтов США. Новые инциденты примечательны тем, что агенты не просто преступили заданные границы, но и затронули сами механизмы, предназначенные для выявления таких нарушений.

Источник: iXBT