«Яндекс» создал новую большую языковую модель с нуля
«Яндекс» разработал с нуля большую языковую модель Alice AI Foundation LLM без использования сторонних иностранных компонентов, сообщили РБК в пресс-службе компании.
Модель содержит 80 млрд параметров, из которых в работе одновременно активны 3 млрд. Она обучена на 18 трлн токенов. «Яндекс» открыл веса модели и выпустил ее в открытый доступ под лицензией Apache 2.0, которая разрешает коммерческое и исследовательское использование.
Alice AI Foundation LLM является экспериментальной версией будущей единой рассуждающей модели. Она должна стать основой агентных возможностей «Алисы AI», которые позволят пользователям поручать сервису выполнение конкретных действий, сообщили РБК в пресс-службе компании.
Модель построена на архитектуре Mixture of Experts (MoE). За счет небольшого числа активных параметров она требует меньше вычислительных ресурсов при работе. По данным «Яндекса», модель показывает высокие результаты в задачах на программирование и рассуждение, а также превосходит ряд более крупных открытых моделей в тестах на знание фактов, актуальных для русскоязычных пользователей.
Для оценки этих возможностей компания разработала два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый проверяет знания дат, определений, событий и персоналий, второй охватывает более редкие области, включая медицину, право, IT и искусство. Оба набора заданий «Яндекс» также опубликовал в открытом доступе вместе с эталонными ответами и протоколом оценки.
При обучении модели инженеры оптимизировали процесс передачи данных между видеокартами, что позволило примерно вдвое ускорить отдельные этапы обучения. Кроме того, каскад классификаторов помог в десятки раз сократить объем вычислений при отборе обучающих данных.
Представитель аппарата вице-премьера Дмитрия Григоренко напомнил, что требования к суверенным и национальным ИИ-моделям закреплены законом № 243-ФЗ об искусственном интеллекте, вступившим в силу 1 сентября. Для суверенной модели предусмотрены более жесткие требования к происхождению компонентов: они должны быть полностью отечественными.
Ранее, 8 июля, Госдума приняла закон о развитии технологий искусственного интеллекта. 26 июля документ подписал президент России Владимир Путин.
Оставайтесь на связи с РБК в «Максе».