Крупнейшая в мире открытая языковая модель (405B параметров)
Качество на уровне GPT-4 при полной открытости исходного кода
Контекст 128K токенов для длинных документов и диалогов
Поддержка коммерческого использования по Meta Llama License
Доступна в облаке через AWS Bedrock и Azure без самостоятельного развёртывания
Минусы
Требует огромных вычислительных ресурсов для локального запуска (8×A100 80GB)
Высокая стоимость API-вызовов по сравнению с моделями меньшего размера
Медленный инференс из-за огромного размера модели
Галлюцинации при работе со свежими событиями (обрезка данных — начало 2024)
Подробный обзор
Вопросы и ответы
Где можно попробовать Llama 3.1 405B бесплатно?+
Together.ai предоставляет ограниченный бесплатный доступ к модели. Также можно воспользоваться демо на HuggingFace Spaces. Для регулярного использования потребуется платная подписка.
Чем Llama 3.1 405B лучше версии 70B?+
405B значительно превосходит 70B в сложных задачах: математике, программировании, многоступенчатых рассуждениях. Однако для большинства повседневных задач разница несущественна, а стоимость и скорость у 70B значительно лучше.
Можно ли использовать Llama 3.1 405B в коммерческих продуктах?+
Да, Meta Llama 3.1 Community License разрешает коммерческое использование компаниям с аудиторией до 700 миллионов пользователей. Более крупные компании должны запросить отдельную лицензию у Meta.
Llama 3.1 405B — исторически значимая модель: первая открытая языковая модель, вплотную приблизившаяся по возможностям к закрытым флагманам GPT-4 и Claude 3 Opus. Выпущенная Meta в июле 2024 года, она содержит 405 миллиардов параметров и установила новую планку для открытых моделей.
Модель обучена на наборе данных объёмом более 15 триллионов токенов с дополнительным этапом RLHF. Это обеспечивает высокое качество следования инструкциям, безопасные ответы и способность к сложным многоступенчатым рассуждениям.
В бенчмарке MMLULlama 3.1 405B достигает 88.6%, что превосходит GPT-4 версии 2023 года и сопоставимо с Claude 3 Opus. На HumanEval для задач программирования модель показывает 89.0%, что является одним из лучших результатов среди открытых моделей.
Для коммерческого развёртывания 405B доступна через AWS Bedrock, Azure Machine Learning и GCP Vertex AI. Для исследователей с достаточными ресурсами доступна самостоятельная установка — для запуска в FP8 точности достаточно 8 видеокарт A100 80GB.
Llama 3.1 405B особенно востребована как базовая модель для дообучения под специализированные задачи. Открытость весов позволяет компаниям создавать собственные модели для медицины, права, финансов без зависимости от внешних API.
