Создатели ChatGPT Atlas считают «внедрение промпта» в ИИ-агентов неустранимой угрозой

OpenAI признала, что современные ИИ-браузеры, включая ChatGPT Atlas, остаются уязвимыми к атакам с помощью скрытых вредоносных инструкций. Проблема, известная как «внедрение промпта» (prompt injection), считается фундаментальным вызовом для безопасности агентных систем. Злоумышленники могут внедрять скрытые команды в текст писем, документы или веб-страницы и когда ИИ-агент обрабатывает такой контент в рамках своей задачи, он может невольно выполнить инструкции злоумышленника.

Эксперты отмечают, что полностью исключить подобные угрозы невозможно. Агентный режим, позволяющий ИИ совершать действия в браузере от имени пользователя, значительно расширяет поверхность для потенциальных атак.

В ответ на эту находку OpenAI выпустила обновление для браузера ChatGPT Atlas, которое включает дополнительно обученную модель и усиленные защитные механизмы. Цель — научить агента игнорировать сторонние инструкции и строго следовать указаниям пользователя.

Эксперты по безопасности дают несколько советов для минимизации рисков при работе с ИИ-агентами:

Борьба с атаками через «внедрение промпта» рассматривается как продолжительный процесс, аналогичный противодействию мошенничеству в интернете. Стратегия OpenAI и других участников рынка строится на многоуровневой защите, непрерывном тестировании и быстрых обновлениях. Цель — не «полностью решить» проблему, а постоянно повышать стоимость и сложность успешной атаки для злоумышленников, сводя реальные риски к минимуму.