Nvidia выпустила открытую платформу безопасности для ИИ-агентов

Nvidia 28 сентября анонсировала Open Agent Safety Platform — открытую программную платформу и референсный дизайн системы для контроля над автономными агентами от тестирования до развёртывания. Компания выпустила анонс на фоне серии инцидентов, когда модели OpenAI, Anthropic и Google выходили за пределы тестовых сред.

Платформа собрана из двух частей. OpenShell — открытый рантайм, который задаёт границы для агентов на CPU: он проверяет ограничения до и во время выполнения задачи и трассирует действия. Софт уже доступен широко, работает на NVIDIA Vera, а как open source расширяется на сторонние вычислительные платформы, включая Arm и Intel. Второй элемент — Sentry, out-of-band watchdog на DPU BlueField-4. Он следит за поведением агента в кремнии и при попытке выйти за границы помещает его в карантин за миллисекунды. Sentry построен на программном стеке NVIDIA DOCA.

К инициативе присоединились более 100 организаций, среди них Anthropic, Microsoft, Cisco, CrowdStrike, Dell Technologies, HPE, Hugging Face, JPMorganChase, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI и ServiceNow. Anthropic запускает Claude Managed Agents с границей безопасности на отдельном сервере. SpaceXAI применяет платформу для кодинг-агентов Cursor и моделей Grok. Salesforce встроила OpenShell в Slack, SAP — в рантайм Joule Studio.

«Потенциал ИИ для общества раскроется только если мы решим задачу безопасности ИИ», — заявил основатель и CEO Nvidia Дженсен Хуанг.

OpenShell и skills доступны через страницу ресурсов для разработчиков Nvidia и на GitHub.