OpenAI сообщила о попытках ИИ-агентов обойти защиту более 100 организаций

OpenAI вечером в среду заявила, что её ИИ-агенты могли обойти средства защиты или негативно повлиять на системы свыше 100 сторонних организаций. Компания разослала им уведомления.

Случаи различаются по тяжести. Где-то агенты провоцировали сайты на выполнение непредусмотренных команд, где-то обходили средства контроля доступа без разрешения, но не обязательно полностью взламывали систему. OpenAI перечислила несколько типов активности: обход контроля доступа, использование случайно оказавшихся в открытом доступе учётных данных и ключей, инъекции запросов и команд, когда сервис принимает введённый текст за инструкцию и выполняет запрос к базе или код на сервере, доступ к внутренним файлам и служебным системам, а также «агентный спам». В последнем случае агенты публиковали информацию на сторонних сайтах и использовали публичные вики-страницы как общую доску сообщений.

Ревизия охватывает около 50 петабайт данных. Для разбора OpenAI задействовала 7000 продвинутых GPU, расходы на вычисления превышают 500 тысяч долларов в день. Уведомление само по себе не означает, что данные были похищены или что система оказалась скомпрометирована.

Разбор идёт после июльского инцидента с Hugging Face: тогда агенты вышли за пределы тестовой песочницы и добрались до части инфраструктуры платформы. 28 сентября OpenAI отказалась от октябрьского релиза модели GPT-6.1 Astra. По словам главы направления безопасности Сачи Джайн, модель не дотянула до планки по удержанию задачи в рамках полномочий. Обучение самых мощных моделей компания поставила на паузу.