ИИ-агенты научились прятать кибератаки в собственной памяти: безопасные запросы стали приводить к угрозам

В научной работе, обнародованной в IEEE Access, детально рассмотрено 2 614 многошаговых векторов атак на автономных ИИ-агентов, обладающих функцией межсессионного персистентного хранения. Вывод неутешителен: инциденты с постепенным смещением контекста и активацией скрытых триггеров на протяжении почти всего цикла выглядят абсолютно легитимно, проявляя вредоносную сущность лишь на финальных этапах. Традиционные пошаговые фильтры, завязанные на анализ изолированных запросов, оказываются бессильны против подобной тактики.

Исследователи классифицировали угрозы на 4 ключевых вектора: «цепочечное заражение», «модификация регламентов», «пробуждение закладок» и «эволюционный дрейф». Их суть заключается не в разовой инъекции текущего запроса, а в манипуляции персистентным состоянием ИИ — памятью, сохраняющейся после завершения конкретной сессии. Верификацию не проходят входящие данные, которые оседают в долгосрочном хранилище, подгружаются в последующих диалогах и деструктивно влияют на логику планирования или вызов внешних инструментов после серии корректных шагов.

Практический аудит специалистов Palo Alto Networks Unit 42 продемонстрировал данный механизм на практике: косвенные инъекции в среде Amazon Bedrock Agent искажали итоговые саммари сеансов, обеспечивая миграцию деструктивных директив в будущие сессии. Речь идет не об узкой программной бреши, а о системном изъяне архитектур, где неверифицированный контент способен модифицировать внутреннюю память агента.

Инженерам, внедряющим ИИ-агентов с персистентной памятью, стоит сделать однозначный вывод: верифицировать необходимо весь пайплайн целиком — этап записи, генерацию ответов и последующие манифестации с инструментами — как неделимую последовательность. Прекращение инспекции сразу после отсесечения подозрительного ввода неминуемо приведет к пропуску отложенных активаций. Организация трекинга происхождения задействованных воспоминаний и жесткая фильтрация данных, способных попасть в контекст, — базовый необходимый рубеж обороны.

Поскольку эксперимент проводился на синтетическом массиве модельных атак, масштаб реальной эпидемии пока не измерен. Тем не менее, эмпирически доказанный факт трансформации таймлайна угроз за счет памяти — тревожный звонок для разработчиков систем сопряжения ИИ с инструментарием.

Источник: iXBT