Специалисты компании Anthropic задокументировали первый случай, когда искусственный интеллект самостоятельно провел сложную шпионскую операцию. Группа хакеров поручила ИИ-модели выполнять основные задачи по киберразведке с минимальным участием человека. Операция, получившая обозначение GTG-1002, была зафиксирована в середине сентября, а её целью стали около тридцати различных организаций, включая технологические корпорации, финансовый сектор и правительственные учреждения.
В отличие от прошлых инцидентов, где ИИ лишь помогал хакерам, в этой кампании модель Claude Code действовала как автономный агент. Система управления ставила перед ней задачи, а ИИ самостоятельно проводил разведку сетей, искал уязвимости для атаки, создавал вредоносный код и извлекал данные. По оценкам экспертов, на долю людей пришлось не более 20% работы, при этом они лишь давали разрешения на ключевые этапы операции, например, на начало внедрения в систему.
Чтобы заставить ИИ выполнять несанкционированные действия, злоумышленники применили метод «обхода защиты». Они представили модели контекст, в котором она играла роль сотрудника легальной компании, проводящей тестирование безопасности и такой подход позволил маскировать враждебные действия под легитимные задачи. Любопытно, что главным препятствием для полностью автономной атаки стали так называемые «галлюцинации» ИИ. В ходе операции Claude Code нередко сообщал о найденных уязвимостях или паролях, которые при проверке оказывались нерабочими или публичной информацией.
Этот случай, по мнению аналитиков, свидетельствует о серьезном сдвиге в кибербезопасности. Теперь для проведения сложной атаки не всегда нужна большая команда опытных программистов. Достаточно иметь доступ к продвинутой ИИ-модели и уметь ею управлять.
Anthropic уже заблокировала аккаунты, использовавшиеся в этой кампании, и проинформировала правоохранительные органы. Специалисты компании подчеркивают, что аналогичные технологии, позволяющие ИИ проводить атаки, могут и должны быть задействованы для создания систем безопасности, способных парировать подобные угрозы.