Исследователи выявили скрытую опасность для ИИ: атака DarkMind воздействует на мышление искусственного интеллекта

Исследователи из Университета Сент-Луиса выдвинули новую скрытую угрозу для языковых моделей искусственного интеллекта, известную как DarkMind. Данная атака способна незаметно вмешиваться в процесс рассуждений ИИ, что может вызвать серьёзные проблемы в безопасности систем, работающих с такими моделями.

Зен Го и Реза Турани, авторы исследования, выявили слабое звено в методике «цепочки рассуждений» (Chain-of-Thought, CoT), часто применяемой в современных языковых моделях, таких как ChatGPT, для решения сложных вычислений. DarkMind использует эту уязвимость, интегрируя «скрытые триггеры» в настраиваемые приложения, основанные на языковых моделях.

Отличительной чертой атаки DarkMind является её незаметность при обычной эксплуатации модели, активизирующаяся только при определённых схемах мышления. Из-за этого атака крайне труднодоступна для обнаружения стандартными средствами защиты.

Проведённые испытания показали, что DarkMind обладает высокой эффективностью против различных языковых моделей, в том числе самых современных, таких как GPT-4 и LLaMA-3. Интересно, что более развитые модели, с улучшенными способностями к рассуждению, оказались даже более уязвимыми к этой атаке.

Го и Турани указывают, что DarkMind может применяться в различных сферах рассуждений. Кроме того, для создания подобной атаки не требуется глубокое знание языковых моделей, что значительно увеличивает риск её широкого распространения.

С учётом растущей популярности языковых моделей в разнообразных областях, включая банковский сектор и здравоохранение, атаки, подобные DarkMind, представляют серьёзную опасность для безопасности. Они способны вмешиваться в процесс принятия решений ИИ без явных признаков воздействия извне.

Учёные подчёркивают, что их открытие выявило существенный пробел в безопасности современных языковых моделей. Они намерены продолжить изучение этой проблемы и разработку новых защитных измерений, таких как контроль согласованности рассуждений и идентификация потенциальных угроз.

Исследование Го и Турани знаменует собой новое направление в изучении безопасности искусственного интеллекта и акцентирует важность разработки более продвинутых защитных мер для обеспечения надёжности и безопасности систем, основанных на языковых моделях.

Источник: iXBT