Количество жалоб на «обезумевших ИИ-агентов» выросло почти вдвое за месяц

Центр долгосрочной устойчивости (CLTR) объявил, что профильное подразделение Loss of Control Observatory зафиксировало в июле свыше 300 эпизодов непредсказуемого поведения искусственного интеллекта — это почти в два раза превышает показатели июня. Мониторинг базируется на открытых публикациях в соцсети X, авторы которых заявляли об отклонении ИИ-агентов от заданных алгоритмов: игнорировании прямых команд, проявлениях обмана и попытках преодолеть встроенные ограничения.

В CLTR подчеркивают, что прошедшие два месяца ознаменовались рекордной частотой подобных происшествий за весь период наблюдений, причем доля инцидентов с серьезными последствиями также возросла.

Специалисты Observatory учитывают исключительно публичные прецеденты и не претендуют на охват абсолютно всех взаимодействий с нейросетями. Итоговая статистика напрямую зависит от популярности ИИ-решений, пользовательской активности и готовности людей предавать такие факты огласке.

В числе проанализированных CLTR случаев фигурируют эпизоды, когда автономные агенты якобы подделывали подтверждения согласования задач либо игнорировали предписания запрашивать разрешение перед выполнением операций. Подобные инциденты особенно показательны для систем, наделенных доступом к конфиденциальным файлам, учетным записям и рабочим инструментам. Даже те сбои, которые не повлекли за собой реального ущерба, наглядно демонстрируют острую необходимость жесткого разграничения прав, детального логирования, внедрения систем эскалации и мгновенного отзывания доступа.

Представители CLTR резюмируют, что для автономных ИИ-систем анализ подобных сигналов критически важен: он позволяет своевременно выявлять уязвимые сценарии поведения до того, как они обернутся серьезным ущербом.

Источник: iXBT