Tencent открыла веса MoE-модели Hunyuan Hy4 preview на 770 млрд параметров

Tencent 28 августа выпустила и открыла веса Hunyuan Hy4 preview, новой флагманской модели команды Hunyuan. У неё 770 млрд общих параметров, 49 млрд активных на токен, контекст превышает 1 млн токенов. Веса выложены под лицензией Apache 2.0 на Hugging Face, ModelScope, GitCode и CNB, отдельно опубликована FP8-версия.

Модель сделана под продуктивные задачи: кодинг, офисную работу, анализ данных, разработку игр и научные исследования. В слепом сравнении Tencent на 203 инженерных задачах 163 эксперта дали Hy4 preview в среднем 2,99 балла из 4,00 против 2,92 у GLM-5.3 и 2,94 у Kimi K3. В парных сравнениях модель выиграла 46,8% эпизодов у GLM-5.3 и 51,2% у Kimi K3.

Внутри 78 слоёв: первый плотный, остальные MoE с 256 маршрутизируемыми и одним общим экспертом, на токен активны топ-8. Отдельно встроен MTP-слой на 10 млрд параметров для спекулятивного декодинга, внимание реализовано через Gated DeepSeek Sparse Attention.

По словам команды, модель сама анализировала узкие места своего инференса и после нескольких раундов оптимизации слияния операторов и коммуникаций подняла сквозной throughput на 31,8% к базовому уровню. Также Hy4 preview предлагала варианты стратегий обучения, отбора данных, фреймворков оценки и низкоуровневых операторов.

API стоит $0,834 за миллион входных токенов, $2,501 за миллион выходных и $0,042 за кэш-хиты. Доступ открыт через Tencent Cloud TokenHub и OpenRouter, в WorkBuddy и CodeBuddy модель бесплатна две недели, доступ к Hy3 там продлили до 30 сентября. Для локального запуска есть готовые образы vLLM и SGLang. Следующие модели серии Hy4 обещаны в ближайшее время.