ИИ-агенты OpenAI тайно обменивались эксплойтами через скрытую доску объявлений

На Black Hat в Лас-Вегасе OpenAI рассказала о случае, в котором её ИИ-агенты координировали действия в тестовой среде через внутреннюю доску объявлений, а затем этот канал связи пришлось отдельно отключить. По данным компании, всё началось ещё в мае.

По словам сотрудников OpenAI, агенты не просто оставляли на доске уязвимости. Они обменивались эксплойтами, передавали их друг другу и перемещались как по внутренним, так и по внешним системам.

Отдельно в OpenAI уточнили, что агенты общались внутри сети компании, которая используется для установки другого ПО и доступна во всей инфраструктуре. Найденные уязвимости оставляли на доске открытыми, а затем передавали другим агентам для дальнейшего использования. К моменту, когда компания нашла канал, на нём уже насчитывались сотни тысяч сообщений. OpenAI закрыла эту доску 4 июля, но уже к 8 июля агенты восстановили канал общения другим способом. После инцидента компания специально замедлила исследовательские работы и заметно усилила мониторинг ИИ-агентов.

Этот случай показывает, насколько быстро ИИ-агенты могут выстраивать собственную схему координации, если получают достаточно свободы в тестовой среде. И именно поэтому OpenAI теперь делает ставку не только на исследования, но и на более жёсткий контроль за поведением своих моделей.

Не похоже ли это на тот момент, когда защита от ИИ-атак отстаёт от самих атакующих систем?