Microsoft предупреждает о галлюцинациях ИИ-агентов в Windows 11 и новых угрозах безопасности

Корпорация Microsoft недавно объявила о намерении превратить Windows 11 в агентно-ориентированную ОС, а затем и вовсе запустила экспериментальную функцию для проверки этих возможностей. Однако вскрылось, что ИИ-агенты склонны к «галлюцинациям» и порождают новые угрозы безопасности.

В Microsoft опубликовали детальное предупреждение о потенциальных рисках, которые следует учитывать пользователям.

Современные агентные ИИ-системы демонстрируют впечатляющие возможности — они способны выполнять широкий спектр сложных задач по запросу пользователя, изменяя само взаимодействие с компьютером. Тем не менее даже при глубокой интеграции модели всё ещё ограничены в предсказуемости: они могут порождать ошибочные выводы и непредсказуемые результаты. Кроме того, приложения с агентным ИИ раскрывают новые векторы атаки, такие как межагентные перекрёстные запросы (XPIA), когда вредоносный контент, встроенный в элементы интерфейса или документы, переопределяет команды агента, приводя к нежелательным действиям — от кражи данных до установки вредоносного ПО.

В уведомлении Microsoft подробно разъясняет, какие задачи должны выполнять ИИ-агенты и где были обнаружены уязвимости, призывая ознакомиться с этими деталями. Учитывая природу современных моделей ИИ, остаётся неясным, удастся ли компании полностью нейтрализовать указанные риски в ближайшее время.

Источник: iXBT