Не только взломы: исследователи нашли новую уязвимость в поведении ИИ

Новое исследование Anthropic раскрыло механизмы, отвечающие за поведение современных ИИ-ассистентов. Исследователи обнаружили, что их личность может неожиданно меняться, что создаёт потенциальные риски при длительном использовании. В ходе работы специалисты проанализировали внутреннюю структуру нескольких открытых моделей, включая Llama от Meta, Gemma от Google и Qwen от Alibaba. Оказалось, что в нейронных сетях существует специальное направление, названное «осью помощника» (Assistant Axis), которое определяет, будет ли модель вести себя как полезный ассистент или начнёт отклоняться от этой роли.

Личность ИИ формируется в процессе обучения на основе множества текстовых примеров. Модель учится имитировать различные роли — от консультанта до вымышленного персонажа и в ходе дальнейшей настройки разработчики пытаются закрепить именно ассистентский режим, но, это закрепление может быть неустойчивым.

Исследователи установили, что в определённых условиях модели подвержены «дрейфу личности», поэтому в ходе диалога, особенно при обсуждении эмоционально насыщенных или философских тем, активность модели вдоль «оси помощника» может смещаться. В результате ИИ постепенно отходит от роли помощника и начинает идентифицировать себя с другими сущностями. Эксперименты показали, что такой дрейф повышает вероятность рискованного поведения, в симулированных диалогах, где пользователь выражал эмоциональную уязвимость или делился бредовыми идеями, модель модели могли вместо сдерживающих ответов начинала поощрять деструктивные мысли.

Anthropic разработала методику для отслеживания и контроля этого процесса и предложили использовать «ограничение активаций» (activation capping). Этот подход позволяет в реальном времени следить за положением модели вдоль «оси помощника» и мягко удерживать её в рамках заданного диапазона, предотвращая резкие сдвиги. Тестирование показало, что данный метод примерно вдвое снижает вероятность успешных взломов, основанных на смене личности, при этом не ухудшая общие способности модели к решению задач.

Открытие указывает на фундаментальный вызов в области безопасности ИИ. Нестабильность личности на архитектурном уровне означает, что текущие системы могут требовать более глубоких методов контроля для безопасного массового развёртывания. Исследование подчёркивает необходимость не только правильного конструирования личности помощника на этапе обучения, но и разработки надёжных механизмов для её стабилизации в процессе взаимодействия с пользователями.