Подразделение Yandex B2B Tech выпустило подробное руководство по снижению рисков при создании и внедрении ИИ‑агентов на базе больших языковых моделей (LLM).
В публикации предложена методика построения модели угроз для проектов с ИИ‑агентами и даны практические рекомендации по уменьшению рисков безопасности при разработке мультиагентных систем. Советы сформированы на основе опыта внедрения агентных решений в сервисах Яндекса — включая команды, работающие с ML, Security и другими продуктами, которые уже применяют генеративные технологии в работе.
Документ анализирует угрозы и описывает защитные меры для ключевых компонентов агентных систем: самих генеративных моделей, вспомогательных модулей и баз знаний, которые применяют разрабатываемые продукты. Отдельное внимание уделено защите пользовательских данных и управлению рисками, связанными с автономностью агентов.
ИИ‑агенты — это следующий этап развития искусственного интеллекта: в отличие от моделей, отвечающих лишь на запросы, агенты могут самостоятельно выполнять действия в цифровой среде. Нам важно системно оценивать и тестировать потенциальные риски их применения, поскольку агенты опираются на данные пользователей, среди которых могут встречаться и злоумышленники. Поэтому при разработке и внедрении нужно целенаправленно работать с набором характерных угроз. Мы уже используем агентную платформу в собственных сервисах, непрерывно совершенствуем методики защиты и делимся наработками с сообществом по информационной безопасности, — отметил Евгений Сидоров, директор по безопасности платформы Yandex Cloud.
В Яндексе автономные и взаимодействующие агенты разрабатывают с учётом принципов безопасной разработки на всех этапах — от архитектурного проектирования до развёртывания. Команды безопасности на ранних стадиях изучают архитектуру, оценивают возможные уязвимости, затем проводят аудит кода и проверяют соответствие внутренним и отраслевым стандартам безопасности.
Компания также исследует возможные векторы атак на нейросети и внедряет механизмы защиты. Система «Антиробот» препятствует злоупотреблениям и эксплуатации уязвимостей в ИИ‑сервисах. В продукте Smart Web Security реализован ML‑WAF — механизм на основе машинного обучения для блокировки веб‑атак. Центр мониторинга выявляет и анализирует подозрительную активность в инфраструктуре. Дополнительную проверку и усиление безопасности обеспечивает направление программы «Охота за ошибками», ориентированное на генеративные нейросети.
При подготовке руководства авторы опирались на лучшие практики международных организаций, в том числе OWASP, NIST и MITRE. Рекомендации уже доступны для ознакомления на платформе Yandex Cloud.