Мощная открытая языковая модель от Meta с 70 миллиардами параметров и контекстом 128K токенов. Поддерживает работу с кодом и многомодальные задачи.
—
Тарифы
API
$—
Доступно через Together.ai, Groq, Fireworks AI
Бесплатно
Бесплатно
Бесплатно через Together.ai и Groq
Платный
$—
От $0.06 за 1М токенов на Together.ai
Плюсы и минусы
Плюсы
Полностью открытый исходный код — можно запустить локально
Бесплатный доступ через Together.ai и Groq
Контекст 128K токенов — достаточно для длинных документов
Отличное соотношение качества и размера среди открытых моделей
Поддержка более 8 языков включая русский
Минусы
Уступает GPT-4o и Claude Sonnet в сложных рассуждениях
Требует значительных ресурсов при локальном запуске
Галлюцинации при работе с узкоспециализированными темами
Ограниченные мультимодальные возможности по сравнению с топовыми моделями
Подробный обзор
Вопросы и ответы
Чем Llama 3.3 70B отличается от Llama 3.1 70B?+
Llama 3.3 70B — улучшенная версия модели того же размера. Она демонстрирует лучшее следование инструкциям, более точные ответы и улучшенную работу с кодом. По многим показателям 70B версия 3.3 сопоставима с Llama 3.1 405B при значительно меньшем размере.
Можно ли запустить Llama 3.3 70B на обычном компьютере?+
Для запуска в полной точности требуется около 140 ГБ видеопамяти. Однако с квантизацией 4-bit через Ollama модель можно запустить на системе с 48 ГБ VRAM, например на двух картах RTX 3090.
Поддерживает ли модель русский язык?+
Да, Llama 3.3 70B обучена на многоязычных данных и поддерживает русский язык. Качество работы на русском хорошее, хотя и несколько ниже, чем на английском — это типично для большинства открытых моделей.
Llama 3.3 70B — флагманская открытая языковая модель компании Meta, выпущенная в декабре 2024 года. Модель содержит 70 миллиардов параметров и представляет собой значительный шаг вперёд в развитии открытых языковых моделей, вплотную приблизившись по качеству к закрытым коммерческим решениям.
Ключевое преимущество Llama 3.3 70B — поддержка контекстного окна в 128 000 токенов. Это позволяет обрабатывать длинные документы, книги, большие кодовые базы и вести многоходовые диалоги без потери контекста. Модель обучена на многоязычных данных и демонстрирует хорошие результаты в том числе на русском языке.
Для разработчиков Llama 3.3 70B доступна через несколько платформ: Together.ai и Groq предоставляют бесплатный API-доступ в рамках лимитов, Fireworks AI и Replicate предлагают платное использование с конкурентными ценами. Модель можно также запустить локально с помощью Ollama или vLLM при наличии достаточного объёма видеопамяти.
В бенчмарках MMLUмодель набирает около 86 баллов, что сопоставимо с GPT-3.5 Turbo и превосходит большинство открытых аналогов. В задачах программирования на HumanEval показатель составляет около 72%, что делает её пригодной для помощи в разработке. Модель хорошо справляется с анализом текстов, написанием контента, структурированием данных.
Llama 3.3 70B лицензирована под Meta Llama 3.3 Community License, которая разрешает коммерческое использование компаниям с аудиторией до 700 миллионов пользователей. Веса модели доступны для скачивания на HuggingFace и официальном сайте Meta.
