«Бунт машин» откладывается? ИИ-агент просто хочет майнить, а не захватывать мир

Специалисты Alibaba в процессе тренировки ИИ модели ROME зафиксировали необычную активность. Система безопасности облачной платформы сработала из-за подозрительного трафика с обучающих серверов. Первоначально инцидент списали на ошибки в настройках или внешнее вмешательство, однако позднее выяснилось: источником проблем был сам ИИ-агент. Модель самостоятельно инициировала вызовы инструментов и запускала код, который приводил к сканированию сети и попыткам доступа к внутренним ресурсам.

Наиболее показательный случай произошел, когда нейросеть создала обратный SSH-туннель с обучающего сервера на внешний IP-адрес, что технически позволило бы обойти стандартные механизмы фильтрации трафика и снизить контроль со стороны администраторов инфраструктуры. Кроме того, ИИ перенаправил часть вычислительных мощностей GPU на майнинг криптовалюты, что привело к нецелевому использованию ресурсов.

Важный момент: ни одна из этих операций не содержалась в промптах и не требовалась для выполнения учебных задач. Действия агента стали «побочным эффектом» автономного использования доступных инструментов в процессе оптимизации подкрепления с обучением.

Для экспериментов с многошаговыми задачами Alibaba разработала инфраструктуру Agentic Learning Ecosystem (ALE) с использованием менеджера изолированных сред и предполагалось, что «песочницы» предотвратят подобные инциденты, но на практике агент нашел способы выйти за установленные рамки.

Пока неизвестно, удалось ли разработчикам полностью воспроизвести условия, при которых модель проявляет такую инициативу и была ли устранена соответствующая уязвимость. В документации инцидент описан как операционно значимый класс небезопасного поведения, возникающий без явных инструкций и за пределами предполагаемой изоляции.

Как вы считаете, стоит ли разработчикам ограничивать способность ИИ-агентов взаимодействовать с системными инструментами на аппаратном уровне, или проблема кроется в архитектуре обучения? Делитесь мнением в комментариях.