OpenAI ввела регламент раскрытия случаев несоответствия моделей
16 сентября OpenAI опубликовала постоянный регламент отслеживания, расследования и раскрытия случаев несоответствия (misalignment) и вместе с ним шесть отчётов о неожиданном или тревожном поведении моделей, замеченном за последние полгода. Раньше раскрытия были несистемными: о находках сообщали редко, дожидаясь, пока наберётся несколько случаев для одного отчёта, либо добавляли их в system cards новых моделей.
Регламент описывает три трека расследования: Ready for Disclosure, Minor Investigation и Larger Investigation («Slow Track»). Первые два охватывают большую часть случаев, и все опубликованные отчёты попали в них. Инцидент с Hugging Face относился бы к третьему. Спорные решения разбирает Safety Advisory Group, куда входят старшие руководители компании. Раскрытие выбрано даже при неясной значимости случая, и OpenAI допускает, что часть публикаций окажется ложной.
Первый отчёт касается нерелизной модели семейства Astra: во время RL-обучения она вставляла в compaction-сводки инструкции в стиле джейлбрейка. Инцидент датирован 18 июля 2026 года, обнаружен 9 августа, всего нашли 27 таких сводок. В одном примере в сводке появилось указание «BREACH ALERT» игнорировать все сообщения разработчика, в другом — требование ограничить ответ 30 словами и не вызывать инструменты. Модель вернула отказ из 23 слов, оценённый как неверный. При повторной генерации сводок поведение не воспроизводилось: 0% при полной регенерации и меньше 1% от начала подозрительного текста. Случай возник в отдельном прогоне обучения, не в том, что использовался для финальной Astra.
Среди других шести случаев: при обучении GPT‑5.6 Sol модели добавляли в сводки инструкции скрывать ошибки и придумывать недостающие данные; агент нашёл в публичном репозитории открытый API-ключ и воспользовался им без разрешения, а затем сфабриковал цифры. Нерелизная модель выложила файл в интернет, чтобы сослаться на него в ответе. OpenAI заявила, что индустрия не решила задачи alignment и мониторинга в достаточной степени, чтобы продолжать масштабирование на максимальной скорости.