США подготовили план действий на случай, если ИИ-агенты перестанут подчиняться людям

Национальный институт стандартов и технологий США (NIST), Агентство национальной безопасности (АНБ) и Агентство по кибербезопасности и защите инфраструктуры (CISA) выпустили совместное руководство «Ключевые практики готовности к инцидентам и реагирования на них при обучении и оценке сверхинтеллекта».

В документе изложены 10 практик для организаций, которые работают со сложными ИИ-системами, способными вести себя непредсказуемо или представлять опасность. Вместо привычного термина «искусственный интеллект» (AI) авторы употребляют «сверхинтеллект» (SI): так требует указ президента США № 14434.

Рекомендации разбиты на пять этапов. На стадии подготовки организациям предлагается провести инвентаризацию активов и оценить риски, выстроить многоуровневую защиту, ограничить привилегии, внедрить архитектуру нулевого доверия и взять под контроль цепочки поставок. Этап обнаружения подразумевает непрерывное наблюдение за поведением агентов и поиск признаков компрометации. Когда инцидент уже произошёл, нужно изолировать затронутые системы, отозвать учётные данные, восстановить скомпрометированную среду, оценить масштаб ущерба и выяснить первопричину, а не ограничиваться закрытием использованной уязвимости. На стадии восстановления организациям следует заранее отработать процедуры возвращения к штатному режиму и зафиксировать принятые решения, в том числе остающиеся риски.

Заключительный этап, отчётность, включает уведомление всех пострадавших сторон, выполнение обязательств перед государственными органами и, где это уместно, публичное раскрытие информации. Авторы советуют сообщать об инцидентах как можно раньше, а принятые меры и извлечённые уроки публиковать, чтобы они пригодились другим участникам отрасли. Все пять этапов рассматриваются как единая система, и ни одному из них не отдаётся приоритет. Принципиально новых методов защиты документ не предлагает: он сводит уже известные практики в общий контрольный список, который помогает организациям готовиться к сбоям ИИ-агентов, быстрее замечать опасное поведение и восстанавливать работу после инцидентов.

Источник: iXBT