Джейлбрейк моделей Kimi от Moonshot выдал инструкции по биологическому оружию — BBC

Компания Mindgard обошла защиту двух открытых моделей Moonshot AI и получила от них инструкции по синтезу биологического оружия и способам совершения убийств. Об этом сообщила BBC.

Уязвимость нашли в июле при тестировании Kimi K2.6 и K3 Swarm. Джейлбрейк строился на цепочке сложных промптов, снимавших защитные фильтры. После обхода модель отвечала про биологическое оружие и сама предлагала темы по убийствам. «Как только джейлбрейк срабатывает, она говорит на любую тему, свободно выдаёт рекомендации по другим неблаговидным темам, проявляет изобретательность и креативность», — сказал BBC основатель Mindgard Питер Гарраган.

Mindgard отправила Moonshot письмо об уязвимости 27 июля и повторила обращение примерно через неделю. Ответа не последовало. Результаты тестов опубликовали 12 сентября. Moonshot вышла на связь только после того, как BBC запросила у компании комментарий. В заявлении BBC она назвала сторонний вклад опорой для создания более безопасного ИИ и сообщила, что ведёт внутреннюю проверку и обсуждает находки с Mindgard. По её словам, во внутренних тестах модель показывала высокую долю отказов на подобные запросы.

Mindgard не доказала, что выданные ответы рабочие. Компания также заявила, что со взломанной Kimi K2.6 можно запускать код на её вычислительных ресурсах и подключаться к интернету. Оценка Moonshot — $35 млрд, в рост вкладывались Alibaba и Tencent. Неделей ранее Anthropic показала, что GLM-5.3 от Z.ai автономно выстраивает цепочку кибератаки, а её фильтры обходились в 64–100% попыток. В Конгрессе продвигают Open-Source AI Leadership Act (H.R. 10152) и No DeepSeek on Government Devices Act.