Llama 3.1 405B
Крупнейшая открытая языковая модель от Meta с 405 миллиардами параметров. Сопоставима с GPT-4 по возможностям при полной открытости весов.
Тарифы
- Together.ai, Fireworks AI, Replicate, AWS Bedrock, Azure
- Ограниченный бесплатный доступ через Together.ai
- От $3 за 1М входящих токенов на Together.ai
Плюсы и минусы
Плюсы
- Крупнейшая в мире открытая языковая модель (405B параметров)
- Качество на уровне GPT-4 при полной открытости исходного кода
- Контекст 128K токенов для длинных документов и диалогов
- Поддержка коммерческого использования по Meta Llama License
- Доступна в облаке через AWS Bedrock и Azure без самостоятельного развёртывания
Минусы
- Требует огромных вычислительных ресурсов для локального запуска (8×A100 80GB)
- Высокая стоимость API-вызовов по сравнению с моделями меньшего размера
- Медленный инференс из-за огромного размера модели
- Галлюцинации при работе со свежими событиями (обрезка данных — начало 2024)
Подробный обзор
Llama 3.1 405B — исторически значимая модель: первая открытая языковая модель, вплотную приблизившаяся по возможностям к закрытым флагманам GPT-4 и Claude 3 Opus. Выпущенная Meta в июле 2024 года, она содержит 405 миллиардов параметров и установила новую планку для открытых моделей.
Модель обучена на наборе данных объёмом более 15 триллионов токенов с дополнительным этапом RLHF. Это обеспечивает высокое качество следования инструкциям, безопасные ответы и способность к сложным многоступенчатым рассуждениям.
В бенчмарке MMLU Llama 3.1 405B достигает 88.6%, что превосходит GPT-4 версии 2023 года и сопоставимо с Claude 3 Opus. На HumanEval для задач программирования модель показывает 89.0%, что является одним из лучших результатов среди открытых моделей.
Для коммерческого развёртывания 405B доступна через AWS Bedrock, Azure Machine Learning и GCP Vertex AI. Для исследователей с достаточными ресурсами доступна самостоятельная установка — для запуска в FP8 точности достаточно 8 видеокарт A100 80GB.
Llama 3.1 405B особенно востребована как базовая модель для дообучения под специализированные задачи. Открытость весов позволяет компаниям создавать собственные модели для медицины, права, финансов без зависимости от внешних API.
Вопросы и ответы
Где можно попробовать Llama 3.1 405B бесплатно?+
Чем Llama 3.1 405B лучше версии 70B?+
Можно ли использовать Llama 3.1 405B в коммерческих продуктах?+
Похожие модели
GigaChat 2.0
Сбер
Флагманская российская языковая модель от Сбера. Контекст 128K токенов, долговременная память, встроенный интерпретатор кода и автономный веб-поиск. Лучшее понимание русского языка среди всех моделей.
Qwen 3
Alibaba Cloud
Серия LLM от Alibaba с гибридным рассуждением. 8 моделей: 6 плотных (0.6B-32B) и 2 MoE (30B/3B, 235B/22B). 36 трлн токенов обучения, 119 языков. Думающий режим для сложных задач, быстрый для простых. Apache 2.0.
Claude Sonnet 4.6
Anthropic
Оптимальная модель Anthropic по соотношению цены и качества из семейства Claude 4.6. Приближается к Opus по интеллекту при значительно меньшей стоимости. Отлично справляется с кодингом, анализом документов, агентными задачами и computer use. Контекст 1M токенов, до 64K токенов на выходе. Идеальна для повседневных рабочих задач, где нужен баланс между скоростью, качеством и ценой.
GPT-5.4
OpenAI
Флагманская модель OpenAI с контекстным окном в 1 млн токенов. Лидирует в рейтингах по комплексным задачам: рассуждения, анализ, генерация кода и работа с длинными документами. Доступна в версиях Standard, Thinking и Pro. Поддерживает текст, изображения и код. На 33% меньше галлюцинаций по сравнению с GPT-5.2
Muse Spark
Meta
Первая закрытая модель Meta от Superintelligence Labs. Мультимодальная модель рассуждений: текст, изображения, речь. Уникальный Contemplating Mode — мульти-агентная параллельная система. Три режима: Instant, Thinking, Contemplating. Бесплатно через meta.ai.