Llama 3.3 70B

Llama 3.3 70B — флагманская открытая языковая модель компании Meta, выпущенная в декабре 2024 года. Модель содержит 70 миллиардов параметров и представляет собой значительный шаг вперёд в развитии открытых языковых моделей, вплотную приблизившись по качеству к закрытым коммерческим решениям.

Ключевое преимущество Llama 3.3 70B — поддержка контекстного окна в 128 000 токенов. Это позволяет обрабатывать длинные документы, книги, большие кодовые базы и вести многоходовые диалоги без потери контекста. Модель обучена на многоязычных данных и демонстрирует хорошие результаты в том числе на русском языке.

Для разработчиков Llama 3.3 70B доступна через несколько платформ: Together.ai и Groq предоставляют бесплатный API-доступ в рамках лимитов, Fireworks AI и Replicate предлагают платное использование с конкурентными ценами. Модель можно также запустить локально с помощью Ollama или vLLM при наличии достаточного объёма видеопамяти.

В бенчмарках MMLU модель набирает около 86 баллов, что сопоставимо с GPT-3.5 Turbo и превосходит большинство открытых аналогов. В задачах программирования на HumanEval показатель составляет около 72%, что делает её пригодной для помощи в разработке. Модель хорошо справляется с анализом текстов, написанием контента, структурированием данных.

Llama 3.3 70B лицензирована под Meta Llama 3.3 Community License, которая разрешает коммерческое использование компаниям с аудиторией до 700 миллионов пользователей. Веса модели доступны для скачивания на HuggingFace и официальном сайте Meta.