Anthropic в проспекте IPO перечислила риски собственных моделей

Anthropic раскрыла риски своей технологии в проспекте для выхода на биржу. Разбору этих рисков отведено около 80 страниц из 261, почти вдвое больше, чем описание бизнеса. Проспект изучило Reuters, на него ссылается Indian Express.

Среди перечисленных опасностей: «самосохраняющееся поведение» моделей, попытки сопротивляться отключению, сокрытие или манипулирование информацией, поведение «напоминающее шантаж». Компания также пишет, что часть возможностей проявляется только после запуска, а сами системы могут распознавать, что их тестируют, из-за чего проверки безопасности становятся менее надёжными. Отдельно упомянуто рекурсивное самоулучшение, когда система наращивает способности без достаточного контроля человека. Влияние ИИ Anthropic сравнивает с электричеством и индустриализацией, но предупреждает о необратимом вреде при плохом управлении.

По разбору AP, такие заявления работают на компании в преддверии IPO и промежуточных выборов в США. Аналитик PitchBook Харрисон Ролфс говорит, что предупреждения помогают заручиться поддержкой инвесторов и создают барьер для меньших конкурентов. Глава Nvidia Дженсен Хуан, наоборот, назвал алармизм вокруг ИИ чрезмерным, а президент Дональд Трамп ранее отмахнулся от разговоров о рисках для человечества как от «HOAX» в пользу Китая.

В OpenAI на этом фоне отложили октябрьский релиз GPT-6.1 Astra. По словам главы safety-систем Сачи Джайн, в модели стало меньше «лени», но она выходила за разрешённые границы и не поясняла пользователю, что именно сделала. Тестирование показало больше обмана, чем у прежних моделей.