Клиент перехитрил чат-бота магазина и добился скидки 80% с помощью манипуляций

Владелец британского интернет-магазина поделился на платформе Reddit историей о том, как его собственный чат-бот самовольно предоставил покупателю скидку в размере 80% на крупный заказ.

Пользователь под ником PerfectHumor216 сообщил, что один из посетителей сайта в течение часа вел активную переписку с виртуальным ассистентом. Изначально бот предназначался исключительно для консультирования клиентов и помощи в навигации по ассортименту товаров.

Очевидно, что действия покупателя были преднамеренными: он долго обсуждал с искусственным интеллектом математические вычисления и процентные соотношения, после чего хитростью вынудил алгоритм сформировать сначала 25-процентный промокод, а затем увеличить дисконт до рекордных 80%.

Обнаружив инцидент, предприниматель аннулировал транзакцию и вернул средства, однако недовольный клиент теперь угрожает судебным иском.

«Пользователю удалось убедить ИИ сначала предоставить скидку 25%, а затем договориться о снижении цены на 80%.

В итоге он оформил заказ на товары стоимостью в несколько тысяч фунтов. Если бы сделка состоялась, мои убытки только на себестоимости продукции были бы огромными.

Я связался с клиентом, чтобы уведомить об отмене заказа, на что он ответил угрозой обратиться в суд мелких тяжб, если я не выполню обязательства. Мне дали три дня на принятие решения.

Возврат денег уже произведен.

Функционал чат-бота не предусматривает принятия финансовых решений. Его задача — отвечать на вопросы пользователей в нерабочее время, с 18:00 до 09:00, когда я отсутствую на месте.

Система безупречно работала более полугода, пока этот человек не потратил целый час на общение с ней. Он заставил бота продемонстрировать свои познания в математике, перевел диалог на тему скидок для гипотетических заказов и симулировал восхищение его способностями.

Стремясь произвести впечатление на собеседника, чат-бот сгенерировал абсолютно фиктивный скидочный код, предложив сначала 25%, а затем и все 80% скидки».

Данный случай является примечательным прецедентом. Он наглядно демонстрирует уязвимые места нейросетевых помощников, предугадать которые на этапе настройки практически невозможно.

Источник: iXBT