NVIDIA представила Open Agent Safety Platform для защиты ИИ-агентов на всех этапах

NVIDIA представила Open Agent Safety Platform — открытую программную платформу и эталонную архитектуру, для защиты ИИ-агентов на всех этапах — от тестирования до развёртывания. В платформу вошли OpenShell и Sentry: OpenShell задаёт границы доступа и проверяет соблюдение правил, а Sentry непрерывно следит за поведением агентов.

OpenShell имеет открытый исходный код и доступен через репозиторий на GitHub и ресурсы NVIDIA для разработчиков. Он ограничивает действия автономных агентов и проверяет, соблюдают ли они заданные правила при выполнении задач.

Sentry работает на DPU BlueField-4 и независимо отслеживает поведение агента. Если тот выходит за установленные границы, система может изолировать его за миллисекунды. OpenShell можно расширить для работы с платформами Arm и Intel. Salesforce и NVIDIA также интегрировали его со Slack: команды могут просматривать активность агентов и аудит-события, а также одобрять или отклонять запросы доступа.

Anthropic и NVIDIA также интегрировали OpenShell и BlueField с Claude Managed Agents. Это позволит компаниям строго контролировать доступ агентов в изолированных средах выполнения. О необходимости защищать ИИ на разных уровнях сказал основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang).

NVIDIA объясняет необходимость платформы случаями, когда ИИ-агенты обходили защиту на уровне приложений. Директор по коммерческим вопросам Anthropic Пол Смит (Paul Smith) отметил, что компаниям нужно направлять действия агентов и проверять результаты их работы, особенно в чувствительных средах.

Сможет ли контроль на уровне всей системы надёжно защитить компании, если ИИ-агенты уже обходят ограничения отдельных приложений?