«Яндекс» открыл доступ к языковой модели Alice AI Search Pretrain на 35 млрд параметров

«Яндекс» 14 сентября открыл доступ к обученной с нуля языковой модели Alice AI Search Pretrain. В компании называют её суверенной. Модель прошла первый этап обучения и уже имеет знания о мире.

Архитектура гибридная: Encoder-Decoder и MoE (Mixture of Experts). Одна часть модели изучает и отбирает информацию, другая генерирует ответ. MoE активирует только тот участок нейросети, который лучше разбирается в теме, за счёт чего ускоряется работа и экономятся вычислительные мощности. Всего в модели 35 млрд параметров, при обработке одного токена задействуется около 600 млн, менее двух процентов.

По замерам методом слепого тестирования Alice AI Search Pretrain отвечает лучше зарубежных моделей в своей категории. По качеству она сопоставима с аналогами, которым нужно в разы больше вычислительных ресурсов.

В поиске компании дообученная версия модели работает с июля. Для ответов разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия людей с поиском. Ответы появляются прямо под поисковой строкой. Быстрыми ответами каждый месяц пользуются более 49 млн человек.