Aleph Alpha выпустила открытую модель Kolibri под лицензией Apache 2.0
Немецкая Aleph Alpha выложила на Hugging Face веса Kolibri, своей новой двуязычной модели для английского и немецкого. Дата релиза — 3 октября 2026 года, День германского единства. Веса доступны под лицензией Apache 2.0.
Kolibri построена на архитектуре mixture-of-experts: 78 103 074 560 общих параметров и 3,46 млрд активных на токен. Нативная длина контекста — 262 144 токена, качество и скорость обслуживания проверены до 1 048 576 токенов, но для сложных задач компания советует не выходить за 262 144. Веса хранятся в FP8 (float8_e4m3fn), занимаемая память около 78 ГБ, минимум для запуска — две A100 80 ГБ или одна H200. Рекомендуемые параметры сэмплинга: temperature 1.0, top_p 0.97, top_k 128. Есть уровни усилия рассуждения none, low, medium и high, а также вызов инструментов через vLLM-плагин из пакета aleph-alpha-inference.
Бенчмарки из карточки модели: SWE-Bench Verified 66,4%, LiveCodeBench v6 85,9%, HumanEval+ 92,7%, AIME 2025 96,9%, GPQA Diamond 84,3%, τ²-bench telecom 94,7%. По заявлению Aleph Alpha, Kolibri сопоставима с моделями, у которых вчетверо больше активных параметров, в том числе с Nemotron 3 Super 120B-A12B.
Претрейн занял 21 день на 768 GPU NVIDIA B200: 20 трлн токенов при длине последовательности 16 384, затем 3,44 трлн на 64k и 201 млрд на 262k. Знания отсечены 18 июня 2026 года. Предыдущая модель Kolibri Origin (30,6 млрд общих параметров, 3,27 млрд активных, окно 64k) в открытый доступ не выкладывалась, её претрейн завершился 11 июня 2026 года. Aleph Alpha сообщает, что Kolibri обучена в Германии на инфраструктуре в Германии и Финляндии, разработка велась с учётом EU AI Act, GPAI Code of Practice и GDPR, а компания подписала кодекс GPAI. Энергопотребление обучения оценено в 9,5×10² МВт·ч.