«Яндекс» опубликовала в открытом доступе Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, полностью обученной с нуля, сообщили проекту Игнатий Цукергохер в пресс-службе компании. Модель рассчитана на исследовательские и коммерческие проекты. Распространяется по лицензии Apache 2.0.
Модель также служит экспериментальной основой для архитектурных решений будущей единой рассуждающей модели «Яндекса». Предполагается, что она должна использоваться в агентных возможностях Алисы AI, где система сможет выполнять действия по поручению пользователя.
Архитектура и результаты
Alice AI Foundation LLM построена по архитектуре MoE (Mixture of Experts) и содержит 80 млрд параметров. При генерации ответа активны около 3 млрд параметров, что снижает требования к вычислительным ресурсам.
По заявлению разработчиков, модель показывает сильные результаты в:
- программировании;
- сложных логических задачах;
- математическом рассуждении;
- работе с фактическими знаниями;
- сценариях, требующих агентного поведения.
В математических олимпиадных задачах модель делит лидерство с Qwen3.5-35B-A3B-Base. В тестах на написание кода она превосходит NVIDIA Nemotron-3-Super-120B-Base.
В задачах на фактические знания Alice AI Foundation LLM также обходит некоторые более крупные открытые модели, включая DeepSeek-V4-Flash-Base. По этим тестам она сопоставима с предыдущей закрытой моделью «Яндекса» Alice AI LLM.
Бенчмарки для русского языка
Для оценки знаний, важных русскоязычным пользователям, «Яндекс» опубликовал два собственных набора тестов:
- WikiWebFacts — проверяет знание дат, определений, событий и персоналий по материалам онлайн-энциклопедий и агрегированным поисковым запросам.
- HardMultiQA — построен на анонимизированных запросах к Алисе AI и охватывает медицину, право, ИТ, искусство и другие области.
Вместе с бенчмарками опубликованы эталонные ответы и полный протокол оценки. Это позволяет исследователям воспроизводить результаты и сопоставлять разные модели на русскоязычных задачах.
Оптимизация обучения
Gередача данных между видеокартами идет параллельно с вычислениями, что вдвое ускоряет шаги оптимизации.
Для подготовки обучающего корпуса применён каскад классификаторов. На документах сначала используются более лёгкие фильтры, сложные этапы применяются только к сокращающейся выборке. По заявлению компании, такой подход снизил объём вычислений в десятки раз и сохранил около 95% полезных документов.
Дополнительно была расширена база знаний в области права, медицины и математики.
Модель, технический отчёт и бенчмарки доступны на Hugging Face и Хабре.
