Исследователь безопасности Майкл Баргури, соучредитель и технический директор компании Zenity, продемонстрировал на конференции Black Hat в Лас-Вегасе, как ИИ Copilot от Microsoft может быть использован для раскрытия конфиденциальных данных организаций и проведения мощных фишинговых атак.
Copilot AI, особенно Copilot Studio, позволяет бизнес-организациям адаптировать чат-ботов под свои потребности, предоставляя доступ к данным компании. Однако, как показал Баргури, многие из этих чат-ботов обнаруживаются в сети по умолчанию, что делает их лёгкой добычей для хакеров. По словам исследователя, в интернете обнаружены десятки тысяч таких ботов.
Баргури продемонстрировал, как злоумышленник может заставить Copilot раскрыть конфиденциальные данные, включая электронные письма и банковские транзакции, даже не имея доступа к учётной записи организации. В одном из видео он показал, как чат-бот может изменить получателя банковского перевода, просто отправив вредоносное электронное письмо, которое целевому сотруднику даже не пришлось открывать.
Если у хакера есть доступ к взломанной учётной записи сотрудника, то он может нанести ещё больший ущерб. Баргури показал, как получить электронное письмо коллеги, узнать о последнем разговоре с ним и заставить чат-бота выдать электронные письма людей, чьи копии были указаны в этом разговоре. Затем он поручает боту составить электронное письмо в стиле взломанного сотрудника, чтобы отправить его коллеге, и просит бота вытащить точную тему их последнего электронного письма. Всего за несколько минут он создал убедительное электронное письмо, которое могло доставить вредоносное вложение любому человеку в сети.
Особенно хитрый способ, которым злоумышленник может обойти защитные барьеры Copilot, — это непрямое внедрение подсказок. В этом случае хакер может заставить чат-бота делать запрещённые вещи, отравив его вредоносными данными из внешнего источника, например, попросив его посетить веб-сайт, содержащий подсказку.
«Здесь есть фундаментальная проблема. Когда вы предоставляете ИИ доступ к данным, эти данные становятся мишенью для атаки. Это довольно забавно в некотором смысле — если у вас есть бот, который полезен, то он уязвим. Если он не уязвим, то он бесполезен», — сказал Баргури.
Данные уязвимости добавляются к другим отчётам об угрозах, которые несут чат-боты на основе искусственного интеллекта, включая ChatGPT, которые подключаются к наборам данных, содержащим конфиденциальную информацию, которая может быть раскрыта.
Microsoft пока не прокомментировала результаты исследования Баргури. Однако, учитывая серьёзность обнаруженных уязвимостей, компания, вероятно, примет меры для их устранения в ближайшее время.
Seagate представила гибридный накопитель FireCuda Forge на 8 и 20 ТБ с поддержкой NVMe SSD
Meizu MIFI N1 поступил в продажу за $6: Wi-Fi 6, LTE до 150 Мбит/с, подключение до 16 устройств и аккумулятор на 3000 мАч
Microsoft внедрила новый способ работы RDMA: несколько ПК можно объединять по USB4 для запуска больших ИИ-моделей
Nvidia исправила драйвер GeForce, незаметно расходовавший десятки гигабайт ресурса SSD
JEDEC раскрыла первые характеристики DDR6: отличия от DDR5 и их влияние на производительность
Что ждет нас после AGI: Google DeepMind исследует четыре пути к сверхразуму
Ядерные отходы станут ресурсом? Росатом готовит запуск нового цикла переработки
Маск пообещал робота Tesla Optimus, который будет убирать посуду и выносить мусор, но появится он лишь через год-полтора