Mixtral 8x22B

Mixtral 8x22B — флагманская открытая языковая модель компании Mistral AI, построенная на архитектуре Mixture of Experts (MoE). Модель содержит 141 миллиард параметров, однако при каждом запросе активируются только около 39 миллиардов, что обеспечивает высокую скорость работы при сохранении выдающегося качества ответов.

Архитектура MoE (смесь экспертов) позволяет направлять каждый токен к наиболее подходящему эксперту внутри модели. Разные части модели специализируются на разных задачах — код, математика, языки, фактические знания — что обеспечивает высокое качество по широкому спектру задач при экономии вычислительных ресурсов.

На публичных бенчмарках Mixtral 8x22B уверенно конкурирует с GPT-3.5 Turbo и превосходит большинство других открытых моделей. На MMLU модель набирает около 77.8%, на HumanEval — 75.8%, что ставит её в один ряд с ведущими коммерческими решениями предыдущего поколения.

Расширенное контекстное окно в 64K токенов открывает возможности для анализа целых кодовых репозиториев, обработки длинных юридических документов, научных статей или книг целиком. Это делает модель особенно ценной для задач RAG и работы с большими документами.

Модель распространяется под лицензией Apache 2.0, что позволяет использовать её коммерчески без ограничений. Веса доступны на Hugging Face, а для развёртывания требуется сервер с минимум двумя видеокартами NVIDIA A100 80GB или эквивалентными ускорителями.