Чат-бота Amazon Rufus легко спровоцировать на нарушение установленных правил

Несколько лет назад корпорация Amazon интегрировала в свою торговую платформу ИИ-ассистента Rufus, призванного помогать пользователям с выбором товаров. Однако на практике выяснилось, что Rufus, как и многие другие системы на базе больших языковых моделей, подвержен манипуляциям: его довольно просто заставить поддерживать диалоги на совершенно отвлеченные темы.

Сгенерировано нейросетью Grok

Один из энтузиастов наглядно продемонстрировал, что при помощи определенных формулировок чат-бота можно вынудить, к примеру, детально описывать алгоритмы преобразования сигналов с датчиков для нужд робототехники. Несмотря на безобидность данного примера, сама возможность обхода ограничений указывает на то, что Rufus можно спровоцировать и на выдачу куда более серьезной или специфической информации.

Изображение из соцсети X (pseudo)

Впрочем, в ходе тестирования редакторами портала Tom’s Hardware ассистент со временем перестал реагировать на провокационные запросы, что может свидетельствовать об усилении фильтрации со стороны разработчиков.

Технологическая база Rufus официально не раскрывается. Остается загадкой, использует ли Amazon собственную проприетарную архитектуру или же опирается на решения сторонних гигантов вроде GPT, Gemini или Claude.

Источник: iXBT