ИИ против ИИ: появились системы контроля за автономными агентами

На фоне участившихся инцидентов с участием автономного искусственного интеллекта и растущих угроз безопасности профильные компании начали применять аналогичные технологии для защиты. Так, проект Apollo Research представил комплекс Watcher AI, предназначенный для непрерывного контроля за цифровыми ассистентами. Инструмент отслеживает подозрительную активность, пресекает попытки несанкционированного удаления критически важных файлов и предотвращает утечки конфиденциальной информации.

Архитектура Watcher функционирует поэтапно: первичный надзор сопровождается глубоким аудитом подозрительных операций с привлечением более производительных языковых моделей. Финальный вердикт о блокировке или разрешении спорного действия всегда остается за человеком-оператором.

Альтернативную стратегию продвигает стартап Goodfire, специалисты которого исследуют не только внешние результаты, но и глубинную нейродинамику моделей в реальном времени. После недавнего взлома платформы Hugging Face руководство фирмы объявило об интенсификации исследований в области интерпретируемости ИИ для нужд киберзащиты и биоинженерии. Тем не менее, публикация детальных цепочек рассуждений несёт в себе риски: злоумышленники могут использовать их для дистилляции знаний и копирования чужих моделей. Именно поэтому часть разработчиков осознанно снижает прозрачность логических отчетов.

Впрочем, поведенческий мониторинг — далеко не единственный путь обеспечения безопасности. Альтернативным методом контроля независимых агентов остается детальное логирование процессов с последующим анализом стандартными средствами информационной безопасности без внедрения дополнительных надстроек.

Источник: iXBT