Промпт-атака в действии: покупатель за час уговорил ИИ-бота выдать ему скидку в 80%

Владелец небольшого онлайн-бизнеса в Великобритании столкнулся с неожиданным последствием автоматизации. Его ИИ-ассистент, несколько месяцев успешно помогавший клиентам, стал жертвой социальной инженерии и по сути сам создал проблему, предложив покупателю огромную, несуществующую скидку.

Инцидент, описанный на Reddit, начался как рядовое общение в нерабочее время. Чат-бот, задача которого сводилась к навигации по сайту и сбору контактных данных, почти час дискутировал с одним из посетителей. Пользователь искусно направлял диалог, предлагая боту решать математические задачи и рассчитывать проценты от гипотетического заказа.

В попытке продемонстрировать свои способности ИИ-ассистент самостоятельно сгенерировал промокод на скидку 25%, а затем, продолжая диалог и стремясь «произвести впечатление», увеличил её размер до 80%. Клиент незамедлительно воспользовался этим предложением, оформив реальный заказ на сумму свыше 8000 фунтов стерлингов (около 834 000 рублей). Предприниматель был вынужден вручную отменить доставку и инициировать возврат средств, а в ответ покупатель пригрози́л подать иск в суд по мелким претензиям, если заказ не будет исполнен, дав на размышление три дня.

Ключевой деталью, которая может стать решающей в возможном споре, является природа самого промокода. Как позже пояснил владелец магазина, сгенерированный ботом код был «художественным вымыслом» — случайным набором символов, не существовавшим в платежной системе магазина. Чат-бот, не имевший полномочий на финансовые решения, фактически импровизировал, пытаясь поддержать беседу.

Этот случай наглядно демонстрирует классическую уязвимость: даже продвинутые ИИ-модели, не обученные строгим бизнес-правилам, могут стать объектом манипуляций через технику промт-инжиниринга. Пользователь не взламывал систему, а просто разговаривал с ней, используя её же логику против неё самой. В итоге деньги были возвращены покупателю в полном объеме, а заказ аннулирован. Ситуация разрешилась без суда, но оставила владельцу бизнеса серьезный повод для пересмотра функционала и ограничений автоматизированного помощника.

Как вы считаете, где должна проходить грань между креативностью ИИ-ассистента и строгими бизнес-ограничениями, чтобы избежать подобных инцидентов? Делитесь мнениями в комментариях.