Anthropic привлекла Accenture как первого встроенного оценщика безопасности моделей

Anthropic объявила о партнёрстве с Accenture по независимой оценке фронтир-моделей. Это первый конкретный шаг к обещанию из эссе CEO Дарио Амодеи «We Must Pace the Frontier» встроить оценщиков внутрь компании.

Работу возглавит Faculty, ИИ-подразделение Accenture. В задачи входят редтиминг и оценка моделей, проверка выравнивания и тестирование защитных механизмов. Обе компании рассчитывают вложить не менее $1 млрд каждая в развитие этого направления за пять лет. Anthropic будет финансировать работу Accenture напрямую, ссылаясь на срочность задачи.

Встроенные оценщики, в отличие от внешних, работают внутри ИИ-компании с доступом, сопоставимым с доступом сотрудника. Они видят, как модели формируются в процессе обучения, следят за решениями о разработке и развёртывании и могут напрямую общаться с сотрудниками. С такого места они проверяют, выполняет ли компания свои обязательства по безопасности, находят слепые зоны и сообщают об инцидентах. Anthropic подчёркивает, что ответственность за безопасность моделей остаётся на ней, а оценщики делают её более проверяемой.

Стандартов доступа и отчётности для встроенных оценщиков пока нет, как и устоявшейся системы финансирования. В долгую Anthropic хочет видеть деньги из общих или государственных источников, о чём писала в Advanced AI Framework в июне. Компания также ведёт переговоры с METR и другими некоммерческими оценщиками о пилотировании отдельных элементов на их собственное финансирование. Партнёрство неэксклюзивное: Anthropic обещает назвать других оценщиков в ближайшие недели, а Accenture будет работать и с другими разработчиками.