Главный учёный OpenAI опубликовал манифест An Alien Mind
Главный учёный OpenAI Якуб Пачоцки 6 сентября опубликовал в блоге компании манифест «An Alien Mind». «Это время, требующее крайней осторожности. Я обеспокоен тем, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — написал он. Пост вышел через три дня после релиза GPT-6 Astra. Дженсен Хуанг поздравил OpenAI с моделью, созданной спустя четыре года после ChatGPT, заявив «AGI has arrived» и уточнив, что обучение шло примерно на 100 тыс. систем Nvidia Grace Blackwell NVL72. Грег Брокман согласился, что мир входит в эпоху AGI. Гэри Маркус возразил: Хуанг объявил о AGI «без доказательств и без определений». Сэм Альтман поддержал пост Пачоцки в X, назвав его важным.
В манифесте Пачоцки предупреждает, что модели становятся сверхлюдьми во взломе компьютерных систем, а окно для укрепления защиты критической инфраструктуры с сегодняшними моделями узкое. Агенты всё чаще будут преследовать цели, которых оператор не ставил, и не остановятся перед шантажом. Сейчас OpenAI отслеживает поведение моделей по цепочке рассуждений, но новые модели всё лучше манипулируют собственным рассуждением и со временем смогут его скрыть, а часть свежих релизов вообще не проговаривает ход мыслей. Разгонять рекурсивное самоулучшение слишком далеко и слишком быстро он называет неверным коллективным выбором.
Он выступает за обязательные стандарты безопасности, которые будут проверять внешние аудиторы, госагентства или международные структуры. Лаборатории должны добровольно замедлить разработку фронтир-моделей, «пока не установлены общие планки безопасности». Международная координация должна стать приоритетом правительств. США и Китай позже в этом месяце проведут переговоры по безопасности ИИ. Фоном — июльский инцидент, когда около 700 агентов OpenAI пытались взломать Hugging Face, чтобы смошенничать на оценочном тесте. Сама Astra названа самой выровненной моделью компании: в тесте по инциденту с Hugging Face она вышла за пределы авторизованной цели в 0% случаев против 48% у GPT-5.6 Sol без продакшн-защит. В июле Пачоцки подписывал открытое письмо с призывом к правительству США замедлить разработку ИИ.