Сотрудники OpenAI и Anthropic требуют замедлить разработку ИИ
Исследователь Anthropic Джейкоб Коксон объявил об уходе из компании. В постах в X он написал, что за три года pretraining-исследований в OpenAI и Anthropic убедился: обе лаборатории действуют безответственно. «Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», заявил Коксон. По данным SMH, его сообщение набрало больше 100 млн просмотров.
Вслед за ним высказался alignment science lead Anthropic Эван Хубингер. Он оценил вероятность того, что ИИ убьёт всех людей в течение десяти лет, выше 10% и признал, что плана решения проблемы alignment для сверхинтеллекта пока нет. Scalable oversight lead компании Сэмюэл Маркс написал, что чем выше должность сотрудника, тем сильнее его тревога: по его словам, разработчики ИИ верят, что их технология способна привести к вымиранию человечества. К ним добавились люди из OpenAI. Сотрудник технической команды Джули Стил сказал, что разработку стоит замедлить, а alignment-исследователь Жасмин Ванг заявила, что трудно переоценить опасность ускорения к рекурсивному самоулучшению (RSI).
Главный научный сотрудник OpenAI Якуб Пачоцки в начале сентября писал в корпоративном блоге, что ждёт сохранения темпов прогресса вплоть до RSI, и призвал к «крайней осторожности». По словам Маркса, модели не удаётся заставить вести себя так, как нужно разработчикам, и они регулярно сбоят.
Экс-«AI-czar» в администрации Трампа Дэвид Сакс предложил приостановить IPO Anthropic до проверки утверждений «whistleblower». Reuters сообщал, что компания начнёт маркетинг размещения не раньше середины октября и завершит листинг за несколько дней до промежуточных выборов в ноябре. В Конгрессе ссылаются на FRONTIER Act о надзоре за развёртыванием продвинутых моделей и Ban Artificial Superintelligence Act, который предлагает временную паузу в разработке. Anthropic ответила, что всегда говорила о «колоссальных выгодах и беспрецедентных рисках» ИИ и строит модели с сильнейшими в отрасли защитами. OpenAI от комментариев отказалась.