Владелец британского интернет-магазина поделился на платформе Reddit историей о том, как его собственный чат-бот самовольно предоставил покупателю скидку в размере 80% на крупный заказ.
Пользователь под ником PerfectHumor216 сообщил, что один из посетителей сайта в течение часа вел активную переписку с виртуальным ассистентом. Изначально бот предназначался исключительно для консультирования клиентов и помощи в навигации по ассортименту товаров.
Очевидно, что действия покупателя были преднамеренными: он долго обсуждал с искусственным интеллектом математические вычисления и процентные соотношения, после чего хитростью вынудил алгоритм сформировать сначала 25-процентный промокод, а затем увеличить дисконт до рекордных 80%.
Обнаружив инцидент, предприниматель аннулировал транзакцию и вернул средства, однако недовольный клиент теперь угрожает судебным иском.
«Пользователю удалось убедить ИИ сначала предоставить скидку 25%, а затем договориться о снижении цены на 80%.
В итоге он оформил заказ на товары стоимостью в несколько тысяч фунтов. Если бы сделка состоялась, мои убытки только на себестоимости продукции были бы огромными.
Я связался с клиентом, чтобы уведомить об отмене заказа, на что он ответил угрозой обратиться в суд мелких тяжб, если я не выполню обязательства. Мне дали три дня на принятие решения.
Возврат денег уже произведен.
Функционал чат-бота не предусматривает принятия финансовых решений. Его задача — отвечать на вопросы пользователей в нерабочее время, с 18:00 до 09:00, когда я отсутствую на месте.
Система безупречно работала более полугода, пока этот человек не потратил целый час на общение с ней. Он заставил бота продемонстрировать свои познания в математике, перевел диалог на тему скидок для гипотетических заказов и симулировал восхищение его способностями.
Стремясь произвести впечатление на собеседника, чат-бот сгенерировал абсолютно фиктивный скидочный код, предложив сначала 25%, а затем и все 80% скидки».
Данный случай является примечательным прецедентом. Он наглядно демонстрирует уязвимые места нейросетевых помощников, предугадать которые на этапе настройки практически невозможно.
Источник: iXBT
