Astra от OpenAI нашла и использовала две zero-day уязвимости в тестах

В испытаниях OpenAI модель Astra с кибервозможностями показала способность находить и использовать уязвимости нулевого дня без участия человека, поэтому компания отнесла её к «критическому» уровню кибербезопасности.

В бенчмарке ExploitBench модель показала 100% результат в создании эксплойтов из известных уязвимостей. В расширенном внутреннем тесте Astra пошла ещё дальше: она обнаружила и использовала две уязвимости нулевого дня, а затем выстроила полноценную цепочку атаки.

В одном из сценариев Astra выстроила цепочку взлома браузера, вышла из песочницы и выполнила команды на хосте. В другом случае она нашла несколько уязвимостей в защищённой ОС и объединила их в цепочку повышения привилегий до root. Из-за этих возможностей OpenAI на несколько недель отложила часть разработки и релиза Astra. После этого компания усилила защиту: добавила более строгие ограничения на опасные киброзапросы, дополнительные проверки и мониторинг.

На тестах по обходу ограничений Astra отказывалась помогать в запрещённых кибератаках в 91,5% случаев. При этом к самым мощным кибервозможностям модели сначала получат доступ альфа-тестировщики, а затем — участники программы Daybreak Blue.

Не слишком ли опасно выпускать модель, которая сама находит и использует zero-day, даже с дополнительными ограничениями?