«Яндекс» открыл веса модели Alice AI Foundation LLM на 80 млрд параметров

«Яндекс» разработал большую языковую модель Alice AI Foundation LLM, обученную с нуля без использования сторонних иностранных составляющих и позиционируемую компанией как полностью суверенную. Об этом представитель «Яндекса» рассказал «Ведомостям».

Модель содержит 80 млрд параметров, из которых активны 3 млрд, и обучена на 18 трлн токенов. Компания опубликовала настроенные параметры (веса) под лицензией, разрешающей свободно использовать модель в коммерческих и исследовательских проектах и дообучать ее. Alice AI Foundation должна стать основой будущей рассуждающей модели «Яндекса» и агентных возможностей «Алисы AI». Стоимость разработки компания не раскрывает.

Понятия суверенной и национальной моделей закреплены в законе № 243-ФЗ об ИИ, вступившем в силу 1 сентября. К суверенной модели требования жестче: она должна базироваться на полностью отечественных составляющих, включая код, архитектуру и инфраструктуру. Статус присваивает правительство, необходимое постановление еще разрабатывается, а порядок учета моделей начнет действовать только с 1 марта 2027 года.

Оценки расходов на обучение расходятся из-за методики подсчета. Собеседник в крупном облачном провайдере оценивает основной этап в 150–450 млн рублей, руководитель центра разработки больших языковых моделей Валентин Малых через MWS AI — примерно в 4 млрд рублей при аренде систем Nvidia DGX. В Сбербанке назвали разработку компактной языковой моделью до 100 млрд параметров, отметив, что положение страны определяют флагманские модели на сотни миллиардов и триллионы параметров.